机构版运营手册
意图识别与运营指标
机构咨询的业务阶段、置信度阈值、统计口径和改进动作。
业务阶段
机构版将主意图进一步归并成业务阶段，便于管理者理解咨询结构：
| 阶段 | 典型问题 |
|---|---|
| 招生咨询 | 项目是什么、适不适合、怎么报名 |
| 资格评估 | 年龄、学籍、英语和参加条件 |
| 项目费用 | 报价、预算、付款和退款 |
| 报名与材料 | 材料清单、申请进度和截止时间 |
| 签证与面试 | DS-160、DS-2019、SEVIS、面签 |
| 岗位选择 | 工资、工时、住宿、交通和雇主 |
| 行前准备 | 机票、保险、行李和出发清单 |
| 在美支持 | 入境、SSN、工作和生活问题 |
| 返程与税务 | W-2、报税、退税和返程 |
| 机构合作 | 白标、采购、渠道和试点 |
| 风险升级 | 安全、纠纷、欠薪、失联和投诉 |
无法归入以上阶段的问题进入“其他”，它通常意味着需要新增意图或调整知识结构。
当前数字口径
| 指标 | 当前规则 |
|---|---|
| 最低意图识别分 | 0.35 |
| 高置信阈值 | 0.75 |
| 低于该值建议人工复核 | 0.55 |
| 每次问答最多保留候选意图 | 3 |
此外，未识别问题以及命中安全、法律、医疗、退款、投诉、失联、欠薪等风险词的问题，也会建议人工复核。
后台指标怎么理解
- 已追踪问答：已经写入新版意图元数据的真实问答数，不包含历史旧 Trace。
- 意图识别率：存在主意图且达到最低识别分的问答占比。
- 平均置信度：仅统计已识别问答，避免未识别项把数值口径混淆。
- 高置信占比：已识别问答中，主意图分数不低于 0.75 的占比。
- 建议人工复核：低置信、未识别或命中风险规则的问答数量。
从数字到动作
- “其他”快速增加：新增或拆分意图节点。
- 某阶段识别率低：补充示例问题和同义词映射。
- 识别正常但无知识：补文档，而不是继续调分类器。
- 高风险问题增加：检查顾问排班和升级流程。
- 同一问题重复转人工：把顾问最终答复沉淀为可审阅文档。