如何衡量 LLM 智能体的创造力潜力

为什么需要衡量 LLM 的创造力

随着大语言模型（LLM）智能体在创意写作、代码生成、产品设计等场景中的广泛应用，如何科学地衡量它们的创造力潜力成为一个关键问题。传统的文本生成质量评估指标（如 BLEU、ROUGE）往往侧重于与参考答案的匹配度，难以捕捉创造性思维的本质特征。

创造力的核心评估维度

学术界和工业界通常从以下几个维度来衡量 LLM 智能体的创造力：

• 多样性（Diversity）：模型能否生成多种不同的输出结果。可以通过对同一提示词多次采样，计算输出之间的语义距离或词频分布差异来量化。
• 新颖性（Novelty）：生成内容是否包含前所未见的组合或思路。常用方法包括与训练语料的 n-gram 重叠率分析，重叠越低则新颖性越高。
• 流畅性（Fluency）：输出在语法和语义上的连贯程度。可通过语言模型困惑度（perplexity）来衡量。
• 灵活性（Flexibility）：模型能否在不同约束条件下切换思路，适应多样化的任务要求。

实用评估方法

基于统计的方法

对同一提示词进行多次采样（通常 20-50 次），计算以下指标：

1. 词汇多样性（Lexical Diversity）：使用 type-token ratio 或 moving average 等指标衡量用词丰富度。
2. 语义多样性：利用嵌入模型计算输出之间的余弦相似度，相似度越低说明多样性越高。
3. 新颖性评分：将生成文本与大规模语料库对比，统计未出现的 n-gram 比例。

基于人类评估的方法

统计方法有其局限性，人类评估仍然是衡量创造力的黄金标准。常见的做法包括：

• 邀请评估者对生成内容进行盲评，从原创性、实用性和惊喜感等维度打分。
• 采用成对比较（pairwise comparison）的方式，让评估者在两个输出中选择更具创造性的一个。
• 设计开放式任务，观察模型能否提出超出预期的解决方案。

基于任务的方法

设计专门针对创造力的任务，例如：

• 头脑风暴任务：要求在限定时间内生成尽可能多的想法。
• 约束生成任务：在特定约束条件下生成内容，考察模型的灵活性。
• 跨领域联想任务：要求将不相关的概念联系起来，评估模型的联想能力。

对开发者的实用建议

选择合适的评价指标组合：单一指标难以全面衡量创造力，建议结合统计指标与人类评估，形成多维度的评价体系。

关注任务场景：不同应用场景对创造力的定义不同。创意写作场景更看重新颖性和惊喜感，而代码生成场景可能更看重实用性和可执行性。

建立基准数据集：收集高质量的创意文本作为参考基准，用于对比和校准评估结果。

持续迭代评估方法：随着模型能力的提升，原有的评估方法可能不再适用，需要不断更新和完善评估框架。

总结

衡量 LLM 智能体的创造力是一个复杂但重要的课题。通过结合统计方法、人类评估和任务设计，开发者可以构建更全面的创造力评估体系，为模型优化和应用落地提供有力支撑。