随着大模型能力快速发展，AI 应用的开发门槛正在持续降低。如今，各类企业都在加速落地 AI 应用，几乎任何团队都可以快速打造一款 AI 产品。当“做出 AI 应用”变得越来越容易，如何准确评估应用效果，以及如何基于评测结果持续优化模型和产品体验，就变得更加重要。因此，AI 产品不仅需要建立科学的离线评测体系，还需要进一步打通线上效果、问题样本回流与模型迭代，形成持续优化的闭环。本文将结合我们团队多年来在 AI 产品和模型落地中的实践经验，对模型评测与持续优化的方法进行总结和分享。
AI 产品应用的模型优化迭代，需要同时关注两类数据：过程效果数据和线上产品指标数据。
过程效果数据是指能够直接反映模型能力表现的数据，例如召回率、准确率、精确率、F1 值、人工评分等。这类数据通常需要基于人工标注或人工评测结果进行计算，用于判断模型本身在特定任务上的效果表现。
线上产品指标数据是指产品上线后，在真实业务环境中产生的用户行为数据或业务结果数据，例如帖子点击率、工单完结率、用户点踩率、用户采纳率、转化率、平均处理时长等。这类数据通常可以通过线上埋点、业务系统或数据报表直接统计得到，用于判断模型能力对实际业务目标和用户体验的影响。
AI 产品的模型优化与评测闭环主要包括以下过程：
在产品上线前，需要通过人工构造、历史数据整理、使用大模型生成等方式构建初始数据集，并将数据集拆分为训练集和评测集。其中，训练集用于模型训练或 Prompt 调优，评测集用于评估模型效果。此阶段的评测属于离线评测，主要用于在上线前判断模型是否达到基本可用标准。
产品上线后，模型优化进入持续迭代阶段。首先，需要基于线上真实业务数据持续扩充训练集和离线评测集。线上数据经过清洗、筛选、标注和质检后，可部分用于模型训练，部分用于离线评测，从而使训练和评测数据更加贴近真实业务场景。
当完成一版模型微调、策略调整或 Prompt 优化后，需要先在离线评测集上进行效果评分。如果新版本在关键评测指标上优于当前线上版本，并满足上线要求，则可以进入上线验证环节。模型上线后，还需要通过线上评测进一步判断新版本是否真正生效，并观察点击率、完结率、采纳率、点踩率、转化率等线上产品指标是否改善，是否存在负向影响或异常波动。
在线上评测完成后，新的线上数据可以继续沉淀下来：一部分进入训练集，用于后续模型训练或 Prompt 优化；另一部分进入离线评测集，用于持续完善评测数据覆盖范围。通过“线上数据分析—训练集/评测集扩充—模型或 Prompt 优化—离线评测—上线验证—线上评测—数据回流”的循环机制，持续提升模型效果和产品体验。
在整个闭环过程中，线上数据分析至关重要。无论是优化 Prompt、扩充训练集，还是定位模型问题、制定下一步迭代方向，都需要基于真实线上数据进行分析。负责该 AI 产品的技术人员和产品经理都需要定期查看数据、分析数据，结合过程效果指标和线上产品指标共同判断模型表现，确保模型优化方向与业务目标保持一致。
在 AI 应用场景中，需要基于具体业务场景建立模型效果评测标准，并明确对应的评测指标与数据标注规则。评测标准用于定义模型输出结果在该场景下何种情况判定为正确、何种情况判定为错误，是后续模型效果评估、优化迭代和数据标注的重要依据。
评测标准的制定需充分结合业务场景、业务逻辑和专业知识，由业务产品负责方与 AI Lab 产品及技术人员共同制定，并完成共识对齐，确保各方对标准的理解一致。标准建设完成后，应形成正式的评测标准文档，明确评测口径、判断规则、正误样例、边界情况处理方式等内容，避免出现模糊、歧义或依赖主观判断的描述。
在标准落地过程中，AI Lab 产品及技术人员需向外包标注团队、信息安全人工标注团队等相关执行人员进行标准讲解和培训，确保标注团队能够准确理解并按照统一规则开展数据标注工作。标注完成后，各相关方应对结果数据进行抽检和复核，确保标注数据准确可靠，并保证业务方、AI Lab 及标注团队对最终数据结果无异议。
如后续因业务变化、模型能力变化或产品策略调整，需要更新评测标准或标注规则，仍需由业务产品负责方与 AI Lab 产品及技术人员共同讨论修改，并重新完成共识对齐。标准更新后，应同步更新评测标准文档，并对标注团队进行补充说明或重新培训，确保后续数据标注按照最新标准执行。
需要特别注意的是，评测标准必须清晰、具体、可执行。对于“什么样的模型输出算正确、什么样的输出算错误”必须能够被明确判断，不能存在模棱两可或依赖个人理解的情况。若评测标准不清晰，不仅无法有效指导模型优化，还可能引入错误反馈，导致模型迭代方向偏离业务目标，最终影响 AI 产品的迭代效果和落地质量。
如何选择评测指标
AI 产品的评测指标需要根据具体业务场景和模型任务类型进行设计，不能简单套用统一指标。评测指标的核心作用，是回答两个问题：模型本身是否变得更好，以及模型能力提升是否真正转化为产品效果提升。
因此，在设计评测指标时，建议同时考虑模型效果指标和产品业务指标。
1、模型效果指标
模型效果指标主要用于衡量模型自身能力，通常通过离线评测集或线上抽样标注数据计算得到。不同类型的 AI 任务，需要选择不同的评测指标。
例如，分类和意图识别任务可以重点关注 Accuracy、Precision、Recall、F1 等指标；信息抽取和实体识别任务可以关注实体级 Precision、Recall、F1，以及关键字段准确率；RAG 场景可以关注召回率、Top-K 命中率、答案正确率、引用准确率等；生成类任务则可以从正确性、完整性、一致性、可读性、业务合规性等多个维度进行人工或大模型评分；Agent 类任务还需要关注任务成功率、工具调用正确率、参数填写准确率、任务完成步数、执行耗时等指标。
常见任务及评测指标示例如下：
任务类型 | 常见评测指标 |
|---|
分类 / 意图识别 | Accuracy、Precision、Recall、F1 |
信息抽取 / NER | Precision、Recall、F1、字段准确率 |
检索 / RAG | Recall@K、Top-K 命中率、MRR、答案正确率、引用准确率 |
内容生成 | 正确性、完整性、一致性、可读性、合规性、人工评分 |
问答 | 答案正确率、覆盖率、拒答准确率、人工满意度 |
Agent | 任务成功率、工具调用成功率、参数准确率、完成步数、耗时、成本 |
2、产品业务指标
根据业务场景定义，例如帖子点击率、工单完结率、用户点踩率、用户采纳率、转化率、平均处理时长等。
离线评测是 AI 模型上线前效果验证的重要环节。需要构建一个独立的离线评测数据集，用于评估模型或 Prompt 优化后的实际效果。该评测集必须与模型训练集严格隔离，避免数据泄漏，确保评测结果能够真实反映模型在未见数据上的泛化能力。
在完成一版模型微调、策略调整或 Prompt 优化后，需要在离线评测数据集上进行评测，并与当前线上版本或旧版模型 / Prompt 的效果进行对比。如果新版本在核心评测指标上有明显提升，且未出现关键能力退化或严重负向问题，则可进入上线验证阶段。通常情况下，新版本上线应通过 A/B Test 或灰度发布方式进行线上验证，以进一步判断其在真实用户场景中的表现。
1、离线评测集构建方式
离线评测集应尽可能覆盖真实业务场景、核心用户需求、典型问题类型和高风险边界情况。常见构建方式包括：
- 线上真实请求随机采样：从线上用户的真实请求中进行随机抽样，并由人工按照统一评测标准进行标注。该方式可以保证评测集具备真实业务分布，反映模型在常规线上场景中的表现。
- 线上难样本挖掘：从线上全量数据中挖掘模型容易出错、用户反馈较差、处理链路异常或业务风险较高的难样本。必要时可借助能力更强的大模型辅助生成、扩展或归纳难样本，但最终样本和标注结果仍需人工审核确认。
- 工程师基于业务场景人工编写样本：由工程师、产品经理或业务专家基于具体业务场景、规则逻辑、边界条件等人工设计评测样本。对于覆盖不足的场景，也可以借助大模型生成候选样本，再由人工筛选、修正和确认。
- 按需求类型进行分层抽样：基于业务需求类型、问题类别、用户意图、场景复杂度、风险等级等维度，对线上数据进行分层抽样，确保评测集中不同类型、不同难度的样本分布相对均衡，避免评测结果只反映某一类高频或简单场景。
- 沉淀线上 Bad Case：将业务产品、运营、技术人员、客服、审核团队或用户反馈的线上 Bad Case 纳入评测集，作为重点评测样本，用于验证后续模型版本是否修复历史问题，防止同类问题反复出现。
- 定期清理低价值样本：对于模型长期稳定处理良好、区分度较低、已无法有效衡量模型改进的简单样本，可以从评测集中删除或降低占比，以提升评测集对模型能力变化的敏感度。
- 持续更新与滚动维护：离线评测集不是一次性建设完成的，需要结合线上数据和业务变化持续更新。对于积累较久、已被多轮评测充分验证且不再代表当前业务重点的历史样本，可以考虑部分转入训练集，用于模型训练或微调。同时，离线评测集可保留最近一段时间沉淀的评测数据，以保证评测内容能够持续反映最新业务场景和模型优化方向。
2、离线评测注意事项
为保证离线评测结果有效可靠，需要注意以下几点：
- 训练集与评测集必须严格隔离，避免同一条或高度相似的数据同时出现在训练集和评测集中，造成评测结果虚高。
- 评测标准必须统一明确，所有样本均需按照统一的评测标准和标注规则进行评估，避免不同标注人员因理解不一致导致结果偏差。
- 评测指标应与业务目标一致，不能只关注模型技术指标，还需要结合实际产品目标选择核心指标。
- 评测集应覆盖常规样本、难样本、边界样本和高风险样本，不能只使用简单样本评估模型效果。
- 离线评测结果不等于线上最终效果。离线评测通过只能说明模型具备上线验证价值，最终是否有效仍需通过线上 A/B Test、灰度实验或真实业务指标进行确认。
离线评测集主要用于指导模型在上线前的离线优化方向，但模型上线后是否真正有效，仍需基于真实线上数据进行验证。只有当新模型在离线评测中表现提升，并且在线上真实流量中的效果也同步提升，才能说明模型具备较好的泛化能力，优化结果能够真正转化为产品效果。
线上评测通常通过 A/B Test 或灰度实验方式进行。即将新模型或新 Prompt 面向一部分线上流量灰度上线，与当前线上版本进行对照实验。上线后，从不同模型对应的流量中随机抽取真实线上数据，并按照统一评测标准进行人工标注或大模型辅助标注，最终得到不同模型在线上真实场景下的效果数据。若新模型在离线评测集中指标提升，同时在线上评测数据中也表现更好，则说明本次模型优化具有实际效果。
除模型直接效果指标外，一些业务指标也可以通过 A/B Test 进行直接对比，例如点击率、转化率、完结率、采纳率、点踩率、投诉率、人工介入率、平均处理时长等。这些指标能够反映模型对产品体验和业务结果的真实影响，应与人工标注得到的模型效果指标结合分析，避免仅凭单一指标判断模型优劣。
线上评测过程中产生的数据也应持续回流到模型优化体系中。例如线上 Bad Case、用户负反馈样本、高风险样本、边界样本、长尾样本等，可以补充至离线评测集或训练集，用于后续模型优化。通过“线上评测—问题挖掘—数据回流—离线优化—再次上线验证”的方式，形成持续滚动迭代机制。
1、线上评测方式
线上评测可采用以下方式开展：
- 基于 A/B Test 对比不同模型效果：将线上流量按用户、请求或其他稳定维度随机切分，分别分配给旧模型和新模型，确保实验组与对照组的流量来源、用户结构和业务场景尽量一致。随后对不同模型产生的线上结果进行效果对比，判断新模型是否优于旧模型。
- 随机抽取线上数据并进行标注评测：从不同模型对应的线上流量中随机抽取一定比例的数据，按照统一评测标准进行人工标注，必要时可使用大模型进行辅助标注。通过标注结果计算准确率、召回率、通过率、满意率、错误率等模型效果指标，形成线上效果评测数据。
- 结合业务指标进行线上验证：对于可直接统计的业务指标，可通过实验平台或数据报表进行 A/B Test 对比，例如点击率、点踩率、工单完结率、用户采纳率、人工转接率等。若新模型在模型效果指标和业务指标上均有提升，则说明模型优化更具可信度。
- 持续沉淀线上 Bad Case 与长尾样本：在线上评测和日常运行过程中，需要持续挖掘 Bad Case，尤其是难样本、边界样本、低频长尾样本和高风险样本。这些样本应定期进入离线评测集或训练集，用于提升模型对复杂场景和长尾问题的处理能力。
2、线上抽样原则
线上评测的数据抽样需要具备代表性和稳定性，否则评测结果可能因样本偏差或样本量不足而失真。抽样时需要注意以下原则：
- 保证抽样数据能够代表线上整体分布：抽样数据应尽可能覆盖不同用户群体、业务场景、需求类型、时间周期、难度层级和风险等级，避免只抽取某一类高频或简单样本，导致评测结果偏高或偏低。
- 优先采用随机抽样，必要时结合分层抽样：对于线上流量较均衡的场景，可以采用随机抽样；对于需求类型差异较大、样本分布极不均衡或长尾问题较多的场景，应结合分层抽样，确保关键场景和难样本有足够覆盖。
- 通过样本量实验确定稳定抽样规模：可先抽取较大规模的数据，例如 1000 条，并完成标注评测。之后从中随机抽取不同规模的子样本，例如 800 条、500 条、400 条、200 条，分别计算核心指标，观察不同样本量下指标的变化趋势。如果从某一规模开始，例如 400 条，继续增加样本量后评测指标变化较小，说明该样本量下评测结果已相对稳定，则后续可将每次线上评测样本量固定为 400 条左右。若指标波动仍较大，则需要继续增加样本量。
- 不同模型版本应采用一致的抽样口径：对比新旧模型时，应保证抽样时间、流量来源、用户分布、场景类型、标注标准等保持一致，避免因抽样口径不同导致评测结果不可比。
- 抽样数据需按统一标准标注和质检：抽样后的线上数据需要按照已共识的评测标准进行标注，并进行必要的抽检、复核和一致性检查，确保标注结果可靠，避免因标注质量问题影响模型效果判断。
3、线上评测与持续迭代
线上评测不仅是判断新模型是否有效的手段，也是发现模型问题、积累优化数据的重要来源。在线上运行过程中，应持续分析以下类型的数据：
新模型效果不如旧模型的样本；用户点踩、投诉、跳出、未采纳等负反馈样本；模型输出错误但离线评测未覆盖的样本；高频问题中表现不稳定的样本；低频但影响较大的长尾样本；业务规则变化后出现的新类型样本；人工运营、客服、审核、产品或技术人员反馈的 Bad Case。当 AI 产品优化进入后期，模型整体指标往往难以再大幅提升，此时决定产品体验差异的关键，往往是模型对长尾样本、复杂样本和边界场景的处理能力。因此，需要持续从线上挖掘难样本和 Bad Case，并将其纳入评测集和训练集，推动模型在真实复杂场景中的能力持续提升。
