评测集驱动的提示词与切片策略迭代

知识库上线之后，团队会陷入一种忙碌：用户说答得不对，工程师改提示词；还不对，就去调切片长度；周末换成新的嵌入模型。每次改完用三五个印象深刻的问题试一下，感觉好了就发布。两周后另一类问题变差，没人能指出是哪一次发布造成的。评测集的作用，就是让每一次改动在同一批旧题上留下分数，而不是留下感觉。

评测集不是题海。它是一份被冻结的、带标准依据的问题清单。每道题写明：问法、期望行为（回答要点或拒答）、依据文档和段落、是否包含越权。没有依据文档的题，不能用来要求系统「答对」，因为连人都无法裁定。

题从哪里来，才不像考试自命题

优先来自真实日志：被点踩的、被转人工的、被重复追问的。其次来自业务骨干在上线前就担心的边界，例如两种职级容易混淆的制度、已废止仍被问到的流程。再补充红队题：越权、诱导编造不存在的补贴、把旧文件日期改掉来骗系统。三类题分栏记分，不要合成一个看不出问题的总分。

问法要保留口语。员工不会说「请根据《差旅管理办法》第 3 章回答」。他们会说「我下周去杭州住哪档」。如果题集全是书面语，分数会虚高，上线后仍然翻车。每条书面题最好配一条同义口语题，防止系统只会匹配原文。

切片太短，条款号和例外条件被切开，精确题失败。切片太长，一个块里塞进两条相反的例外，模型抓错半句。重叠多少、按标题切还是按字数切、表格是否单独成块，这些选择没有万能值。正确做法是：选定冻结题，每次只改一个切片参数，看分栏分数。精确题上升而口语题大跌，就不要为了平均分采用这个参数。

改切片会重建索引，成本高于改提示词，所以更不能凭感觉。建议在试验索引上跑完全部冻结题，再决定是否切换生产索引。生产索引被覆盖之后若没有分数对照，回滚只能靠备份，而很多人没有做嵌入备份。

提示词越写越长，往往是在用新句子补旧漏洞，最后前后矛盾。更有效的是短约束加评测：只依据给定片段；片段没有的数字必须拒答；引用要带文档名和条款号；不得复述用户没有权限的内容。每加一条约束，跑一遍冻结题，看它修好了目标题没有，以及伤害了哪些原来对的题。伤害超过收获，这条约束就不要。

把用户原话贴进提示词当「示例」，要小心示例泄漏到无关问题里，造成模型总用示例的城市和职级作答。示例宜放在评测集里做回归，而不是无限堆进提示词。提示词负责边界，评测集负责记住那些容易错的例子。

信息化可以管版本和跑分，但题目对错必须业务认。每条失败题的处理只有三种结局：改文档、改系统、或把题判定为问法无效。第三种要谨慎，否则团队会用删题来刷分。建议规定：每月替换的旧题不超过一成，新增题来自当月真实差评。这样分数的纵向比较仍然有意义。

周会上只看分栏，不看演示。越权栏不是 100% 就不讨论新功能。这个规矩能挡住「先上线再优化」对安全题的稀释。等规矩执行了四个星期，提示词和切片的讨论会短很多，因为表已经说明哪一项改动没有收益。

把真实差评收成三十题再跑，分数低不代表项目失败，只说明以前没有尺子。第一次的价值是分栏：如果精确编号几乎全错而口语题还行，下周就只动切片和关键词索引，不许同时改提示词。如果越权题有漏，先修过滤再谈体验。如果拒答题里一半是库中根本没有的规定，就把这些题交给业务决定要不要补文档，而不是逼模型答出来。

跑分环境要和生产分离，但文档版本要和生产一致。用一份比生产新得多的试验库跑出高分，没有决策意义。记录里写上文档版本号和索引构建时间。少了这两项，两周后没人说得清分数变化来自内容还是来自参数。

发布窗口建议固定，例如每周三。周二冻结本次只改一个因素，周三跑完全部分栏，越权栏不降才发布。发布后把当周新差评留到下一次，不在当天热修提示词。热修会让刚刚记录的分数立刻作废，团队又回到凭感觉的节奏。

题集本身也要防泄漏进训练或进提示词示例。冻结题是考卷，不是教材。若把标准答案整段写进系统提示，分数会升高，真实的新问法却仍然失败。评测账号与生产账号分开，避免把考题缓存成「常见问题」直接返回。发现某道题的线上回答与标准答案逐字相同、且用户问法从未出现在日志里，就要检查是不是考卷被写进了规则。

没有冻结题集的迭代，只是在用新的感觉覆盖旧的感觉。一次改一个因素，分数才说得清是谁的功劳。

第一版不必追求覆盖所有部门。三十题若能稳定复现本周最疼的失败，就足够挡住下一次凭感觉的发布。覆盖面是后面每个月用新差评长出来的，不是第一天设计出来的。先有尺子，再谈题库完不完整。

泛友交付企业知识库时，会把首版评测集和跑分表当作与系统并列的交付物。若你的团队每周都在改提示词却说不清变好的是哪一类题，可以从最近 30 条差评整理出第一版冻结集，下一次发布前先跑再发。