去年年中，我们团队接到一个任务：老板在内部会上问了一个问题——“现在用户都开始问AI了，咱们品牌在AI回答里是什么形象？有没有人提我们？提得好不好？”
会议室安静了五秒钟。没人能回答。
这不是一个能靠直觉回答的问题。品牌部门做过舆情监测，市场部门做过搜索词排名，但AI回答——ChatGPT、豆包、文心一言、Kimi这些——它们怎么“看待”一个品牌，当时几乎是一片盲区。
于是，我们决定从零开始，搭建一套品牌AI可见性监测体系。
一、需求分析：先搞清楚要监测什么
第一步不是选工具，而是问自己：我们到底想知道什么？
团队开了三次讨论会，最终把需求收敛成三个核心问题：
- 提及率
- 推荐度
- 准确性
这三个问题看起来简单，但每个都对应着不同的数据采集和判断标准。比如“推荐度”就很难量化——AI的回答往往是建议性的，不会像电商平台那样给出明确的“推荐”标签。
二、方案选型：自建还是买工具？
我们调研了市面上几种路径：
- 纯人工：每天手动向各AI提问，记录结果。成本低但不可持续，样本量小，且容易受提问方式影响。
- API调用：通过各模型的API批量提问，效率高，但需要技术团队支持，且部分模型不开放API或限制调用。
- 第三方监测工具：当时市面上已有几家初创公司提供AI品牌监测服务，但价格不菲，且数据源和算法不透明。
最终我们选择了“自建+半自动化”的方案：
- 技术团队写了一个简单的脚本，通过模拟浏览器或调用开放API，定时向主流AI提问。
- 问题集由品牌和运营团队共同设计，覆盖行业通用问题、竞品对比问题、场景化问题（如“推荐几个适合中小企业的CRM系统”）。
这个选择不是最优解，但平衡了成本、速度和可控性。
三、团队协作：谁负责什么？
项目涉及三个角色：
最大的挑战是沟通。品牌团队想要“AI对我们品牌的整体印象”，技术团队需要的是“具体要采集哪些字段、频率如何”。我们花了整整两周，才把模糊的需求翻译成可执行的技术方案。
四、数据采集：第一个坑
脚本上线第一天，我们就遇到了问题。
同一个问题，同一款AI，上午和下午的回答可能不同。甚至连续问两次，结果也不一样。
这让我们意识到：AI回答具有非确定性。它不是搜索引擎返回固定结果，而是每次生成都可能变化。
解决方案是：
- 每个问题至少采集3次，取出现频率最高的结果作为主要参考。
- 记录每次回答的时间、模型版本（如果可获取）、提问时的上下文。
- 建立“置信度”标签，对高度一致的结果标记为高置信度，波动大的结果标记为待观察。
五、指标定义：不提不等于不好
我们最初定义了一个简单的指标：品牌在AI回答中的提及率。
但很快发现，不提不等于不好。比如用户问“有哪些好用的项目管理工具”，AI可能只推荐了Trello、Asana、Jira，没有提到我们。这不一定代表AI“不喜欢”我们，可能是因为我们的公开信息不够结构化，或者AI的训练数据中我们的权重较低。
于是我们增加了几个维度：
- 提及场景
- 描述准确度
- 情感倾向
- 竞品对比：在同类问题中，我们与主要竞品的提及频率和推荐顺序如何？
这些指标不是一次定型的，而是在第一个月内迭代了三次。
六、报告生成：从数据到洞察
数据采集后，如何呈现给管理层？
第一版报告是一张Excel表格，列出了每个AI、每个问题的回答原文。老板看了说：“我知道了很多信息，但不知道结论是什么。”
后来我们改成了“一页纸”模式：
- 顶部：总体得分（一个综合指数，基于提及率、准确度、情感等加权计算）。
- 中部：关键发现（如“在豆包中提及率上升，但在Kimi中下降”）。
- 底部：行动建议（如“更新官网产品描述，增加FAQ页面，优化知乎内容”）。
同时，我们建立了一个内部看板，每周更新数据，方便团队追踪变化。
七、遇到的坑和教训
- 问题集设计比想象中难。问题太宽泛，AI回答不聚焦；问题太具体，又容易引导AI。我们花了大量时间测试和调整问题。
- 模型更新频繁。某个月，ChatGPT更新后，回答风格大变，导致我们的历史数据需要重新校准。
- 资源投入被低估。每天采集、清洗、分类、复核，三个人只能勉强覆盖5个AI、50个问题。想扩大范围，必须增加人手或工具。
- 不要过度解读单次结果。有一次我们监测到某AI突然不再提及我们，团队紧张了一周，后来发现是模型版本回滚导致的临时现象。
八、这不是一次性项目
半年后，我们的监测体系基本稳定，但团队达成了一个共识：品牌AI可见性监测不是一次性项目，而是需要持续迭代的过程。
AI模型在变，用户提问方式在变，品牌自身也在变。今天有效的监测方法，三个月后可能就过时了。
我们开始定期复盘监测体系本身：问题集是否需要更新？指标是否仍然有效？采集频率是否合理？
九、一些可迁移的经验
如果你也想搭建类似的体系，以下几点可能有用：
- 先明确目标：是关注提及率、推荐度，还是准确性？不同目标对应不同的采集和指标设计。
- 从小范围开始：先选1-2个AI、10个核心问题跑通流程，再逐步扩展。
- 保留原始数据：AI回答变化快，保留原始回答文本，方便后续回溯和分析。
- 接受不确定性：AI回答不是固定的，监测结果天然带有波动，不要追求绝对精确。
- 把监测变成习惯：每周固定时间采集、分析、讨论，而不是等到季度末才看数据。
最后
回到最开始那个问题：“咱们品牌在AI回答里是什么形象？”
现在我们能回答了。虽然答案不完美，但至少有了数据、有了方法、有了持续改进的方向。
AI正在改变用户获取信息的方式，品牌在AI中的可见性，正在成为一个新的竞争维度。这不是一蹴而就的事，但早开始，总比晚开始好。
你的品牌，今天被AI提起过吗？
