GAO 认知指标怎么测：准确率、完整度、一致性与稳定性

“这个月 AI 提及率提高了”只能说明品牌出现得更多，不能说明用户获得了更正确的品牌认知。如果新增回答把产品归属说错，曝光越高，误解反而可能传播得越广。

GAO 评估需要把回答拆回事实：AI 说了什么、哪些说对、哪些遗漏、不同平台是否冲突、同一事实能否在多次复测中保持稳定。只有口径清楚，这些指标才不是另一组看起来精确、实际无法复核的分数。

测量前先准备两份清单

核心事实清单

选择真正影响用户决策的事实，而不是把所有品牌资料都纳入。首轮可覆盖公司主体、产品归属、核心功能、版本差异、适用场景、关键资质、服务区域和主要限制。

每项事实需要记录标准表述、可接受表述、常见错误、证据链接、适用范围和核对日期。例如“企业版支持私有化部署”与“全版本支持私有化部署”必须被标成不同事实，而不是都算作“提到部署能力”。

固定问题清单

问题至少包含四类：品牌识别、产品属性、场景选择和竞品比较。品牌词问题用于检查基础认知，非品牌词问题用于检查 AI 能否在真实需求中调用这些认知。

记录平台、模式、日期和完整回答。联网与深度研究等模式可能使用不同材料，不能混在同一分母里直接比较。

四个核心指标怎样计算

指标	建议口径	回答的问题	主要局限
描述准确率	正确事实项数 ÷ 已出现且可判定的事实项数	已经说出的内容有多准确？	不惩罚重要事实完全缺失，需要与完整度配套
属性完整度	被正确覆盖的目标属性数 ÷ 本轮应检查的目标属性数	关键认知是否说全？	不同问题天然不需要覆盖全部属性，应按问题设定应检项
跨平台一致率	对同一事实保持一致且正确的平台结果数 ÷ 有效平台结果数	各平台是否形成相同事实判断？	未提及不宜简单算作错误，应单列覆盖率
认知稳定性	固定周期中持续保持正确的事实—问题组合数 ÷ 有效复测组合数	正确描述能否经得住重复测试？	受抽样次数和回答随机性影响，应保留原始记录

公式中的“正确”必须依据事先确认的事实底稿，不能看到回答后临时改变标准。无法核实、表述含糊或证据不足的项目应单列为“不确定”，不要为了计算方便全部判对或判错。

一个事实级标注示例

假设针对“某产品是否支持私有化部署”检查四个回答：

回答	实体	事实判断	边界	证据	应记问题
企业版支持，免费版不支持	正确	正确	完整	对应部署文档	无
全版本都支持	正确	错误	缺失	引用了正确文档	生成概括失真
该产品属于另一家公司	错误	无法继续判定	—	无	实体混淆
没有提到部署方式	正确	未提及	—	—	属性缺失

这四条不能简单汇总成“25 分”。更有用的结论是：一版正确、一版发生条件遗漏、一版主体混淆、一版信息缺失。它们分别对应表达治理、实体治理和属性覆盖，下一步动作完全不同。

还要补两个质量指标

证据对应率

证据对应率检查“引用是否真的支持结论”。分子是关键结论获得对应来源支持的项数，分母是已给出证据且需要支持的关键结论项数。

引用官网首页不一定能支持具体参数，引用第三方报道也不一定能证明当前版本能力。标注时应打开来源核对，而不是看到链接就判为有证据。

严重错误率

并非所有偏差的影响相同。主体混淆、虚假资质、错误价格和不适当地给出高风险建议，通常比措辞简略更严重。可以单列高影响错误数量或严重错误率，避免平均准确率掩盖少数关键问题。

严重等级应在测试前定义，例如：高影响错误涉及主体、合规、核心交易条件和安全边界；一般错误涉及非关键属性或次要场景。等级用于确定修复优先级，不宜被藏进一个不透明的加权总分。

怎样减少测量本身的误差

• 固定核心题库：保留一批跨周期不变的问题，同时另设探索题观察新问法，避免扩充题库后误把口径变化当效果变化。
• 重复抽样：生成式回答有波动，单次结果只能作为案例，重要趋势应通过多轮复测确认。
• 分平台报告：不同平台的检索与生成机制不同，不应只给跨平台平均值。
• 区分未提及与错误：未提及影响完整度，错误影响准确率，混算会让诊断失去方向。
• 保留原始证据：完整回答、截图或导出文本、引用链接和事实清单应能对应到每条指标。

一份可读的 GAO 报告长什么样

报告不必先放一个综合分，可以按以下顺序呈现：

1. 本轮题库、平台、模式、抽样日期和事实底稿版本。
2. 描述准确率、属性完整度、跨平台一致率和认知稳定性的各自口径与结果。
3. 高影响错误清单，以及对应原始回答和证据。
4. 按实体、事实、证据、场景、表达归类的差距。
5. 上轮问题的修复状态和仍未解决的冲突来源。
6. 下一轮责任人、修改对象和复测范围。

GAO 指标应与 GEO 提及率、引用率并列，而不是取代它们。前者衡量“说得对不对”，后者衡量“有没有进入答案”。关于 GEO 可见性和引用指标，可阅读《GEO 核心指标体系全解》。

小结

GAO 测量的核心不是制造一个新总分，而是把 AI 回答转换成可复核的事实记录。准确率看说对多少，完整度看关键属性缺多少，一致性看跨平台是否冲突，稳定性看正确认知能否持续。再配合证据对应和严重错误分级，团队才能从“AI 好像更懂我们了”走到明确、可执行的修复清单。