大模型评测普遍采用人工评估，直接原因是大模型的很多能力，机器评测够不着。传统机器评测靠固定数据集和量化指标，只能查语法错误、准确率这类浅层问题；可对话逻辑、语义理解、价值观对齐、创造力、共情这些方面，行业里至今没有统一的可量化标准。再加上模型输出不唯一，同一道题能给出好几个都算合规的答案，机器对着模板比对，容易把优质回答当成错误处理。人参与进来就不一样：判断会参考场景、语境和用户需求，比模板比对更能分出好坏。这也是人工评估始终占着一席之地的原因。
人工评估的优势，体现在几个地方。评估维度上，逻辑性、流畅度、准确性、创新性、价值观合规性可以放在一起综合打分，对话、文案创作、咨询这类真实场景全覆盖，弥补机器单一维度的局限。面对开放式问题，没有标准答案时，人能分辨"确实不错"和"格式合规但没内容"的差别，模型细微的能力缺陷往往从这种地方暴露出来。对新模型、新任务，人工评估几乎零成本，不用建数据集、不用调评测算法，新能力上线直接上手试，马上能出判断，正好匹配大模型快速迭代的节奏。
短板也摆在那里，主要出在三处。主观性是第一道坎：评测者的知识储备、审美、价值观各不相同，同一段输出有人给高分有人给低分，数据的一致性和稳定性就打了折扣。第二是成本，人工评测靠人力、时间换，模型一天生成上万条回答，靠人一条条看，评不完也评不快，跟不上高频迭代的节奏。第三是标准统一难：不同团队、不同评测员尺度不一，结果彼此间没法横向比较，行业想横向对比各家模型能力，就缺了这把尺子。
所以现在行业普遍这么干：机器先把明显问题过滤掉，人集中精力评机器拿不准的部分。评测效率和精准度两头兼顾，比单独依赖任何一边都让人放心。
