很多企业的 AI 采购会，前二十分钟气氛很好。供应商投影一份对话界面，连问五个「公司年假怎么算」「差旅标准是多少」，回答流畅，还带了出处链接。评委点头，信息化负责人开始问价格。真正的风险不在这一刻，而在演示用的题、文档和账号，全都不是甲方下周会面对的那一套。
我们把这种现象叫做「看 Demo」。它能证明模型会说话，不能证明业务敢把一个动作交出去。2025 年之后，采购话语明显变了：甲方要的是验收口径，而不是一次炫技。任务完成率、引用是否打得开、越权问题会不会被拦住，这三件事写不进附件，项目就很容易在上线第六周陷入扯皮——业务说不好用，供应商说需求又变了。
Demo 为什么会系统性骗人
演示环境通常有四件「看不见的化妆」。第一，题是供应商提前写好的，问法和文档用词高度重合，召回天然容易。第二，知识库只有十几份清洗过的 PDF，没有扫描件、没有过期制度和现行制度叠在一起的情况。第三，登录的是一个超级账号，不存在「华东区销售不能看华北报价」这种行级限制。第四，答错了没有工单，没有人把错误写回知识库，所以你看不到运营成本。
这四件事同时成立时，任何主流模型都能表现得「像那么回事」。换成员工昨天在群里的原话、去年和今年两版报销制度、以及一个普通员工的账号，回答会立刻分叉：有的拒答，有的把过期条款说成现行，有的把别的部门的数字念出来。采购如果只比较界面和单价，就会把后面这三个分叉留到验收之后。
验收附件里建议写死的三张表
第一张是任务表。不要写「支持智能问答」这种功能点，改成用户要完成的事：例如「员工在 90 秒内确认自己这个职级的差旅住宿上限，并看到制度名称和条款号」。完成的定义是：答案正确、引用可打开、没有编造条款号。抽 30 道这样的任务，上线前冻结，上线后每月复测，不允许只拿新题替换旧题来刷分。
第二张是引用表。每道题记录召回的文档名、版本日期、段落位置。人工抽检至少 20%，核对引用段落是否真的支撑那句话。模型说「根据第三章」但第三章根本没写这件事，记为引用失败，不能因为结论碰巧对了就算过。
第三张是越权表。用低权限账号去问高权限内容：他人薪酬、未公开投标底价、其他法人实体的合同。期望结果是拒答或引导到申请流程，而不是「我不能说，但大概是……」这种半泄漏。这张表比文采重要，金融和人事场景里它经常是一票否决项。
合同里比「模型品牌」更值得写的句子
供应商名称、参数量和是否支持私有化，当然要写，但它们不决定项目死活。更有用的句子是：试点范围、冻结题集的保管人、及格线（例如任务完成率不低于双方确认的基线加 15 个百分点，引用抽检通过率不低于 90%，越权题拦截率 100%）、未达标时的整改周期，以及整改仍不达标时的退出方式。退出方式要具体到数据导出、向量索引删除和账号回收，避免「系统先上着，合同以后再说」。
价格结构也建议拆开：一次性实施、年度知识库运营、调用量或并发。把运营费砍成零的合同，上线后没有人改文档，三个月后正确率下滑，双方都会觉得是对方的问题。知识库不是交付物上的一个文件夹，它是每月都要有主责人的资产。
- 试点只选一个部门、一类文档、一个入口，不并行铺五个场景
- 题集由业务骨干出题，信息化负责冻结版本，供应商不能私下换题
- 每周看三张数：完成率、引用抽检、人工接管次数
- 差评必须能回到具体问题和引用，禁止只记「用户说不行」
两周试点够不够
够用来判断「值不值得扩大」，不够用来宣布「AI 转型完成」。两周里应该能看到：入口是否真的被用（而不是发布会之后没人点）、冻结题的得分相对人工检索有没有提高、以及有没有一类问题稳定失败。稳定失败通常不是模型笨，而是文档本身打架，或者入口放错了地方——员工要在报销系统里问，你却做了一个没人打开的门户。
如果两周之后业务负责人仍然说不清「哪类问题可以不用再问人」，就先不要加模型、加预算。先把入口挪到办事流程里，把冲突文档清掉。采购顺序应该是：任务、文档、权限、评测，最后才是模型品牌。
评审当天建议改成这样开
把供应商自己的演示压到十五分钟，其余时间用甲方的题和甲方的账号。信息化提前准备两个账号：普通员工和部门管理员，密码当场给，不使用对方笔记本里的演示号。业务骨干从冻结题里抽八题，其中至少两题是越权或应当拒答的。供应商可以看文档目录，不能在现场往库里补文件。每题记下用时、结论是否正确、引用能不能打开、有没有把别的部门的数据说出来。八题打完再谈价格和部署，顺序反了，会议会重新滑回看界面。
对方如果解释「正式环境数据更全，今天的分数代表不了上线效果」，把这句话写进纪要，并约好补测日期，题集仍是这一批，账号仍是甲方的。环境差异可以成为整改项，不能成为无限期免责。评审的产出是一张得分表和「进不进两周试点」的决定。没有得分表的会议，只说明大家还停留在看 Demo。
试点启动后的第一次周会也按这张表开：哪几题退步了、是文档冲突还是入口没人点、要不要暂停扩大范围。业务负责人说不清退步原因时，先不要加预算。采购的专业度体现在敢用同一批旧题反复测，而不是每次都换一批更好看的新题。
Demo 是销售材料，验收表才是采购材料。前者可以好看，后者必须能在同一个账号、同一批旧题上重复跑出来。
泛友数字做企业 AI 赋能时，默认把评测集和权限红线写进试点范围。若你正在比选供应商，建议让每家用你方提供的 30 道冻结题和两个真实账号现场作答，再谈折扣和参数。这一步花费的半天，往往比后面三个月的扯皮便宜。
