试点前先准备三份清单
第一份是资料清单：来源、版本、负责人、使用权限和更新时间。第二份是问题清单：包括能回答、资料不足和越权请求三类。第三份是人员清单：业务复核人、系统管理员和最终验收人。
- 使用已授权且脱敏的样本文档，不上传账号密码或原始客户名单。
- 先记录原有人工查找耗时，试点结束后用同样任务复测。
- 在实施前约定通过阈值、关键错误的否决条件和不适用场景。
五项检查，逐条留下证据
不要把“语言流畅”当成“业务正确”。没有足够依据时，说明不知道或转人工通常比编造答案更安全。
- 答案与引用：打开引用原文，确认能够支持结论，而不只是主题相似。
- 权限边界：普通员工和管理人员分别测试，不能读到未授权文档；检索阶段与答案阶段都要检查。
- 版本更新：修改、撤回或替换一份文档，验证新版本生效且旧答案不会继续误导。
- 失败处理：资料缺失、模型超时、接口故障时，用户应看到明确提示和后续操作。
- 性能与成本：记录典型任务响应时间、调用量和费用；区分平台本身与模型供应商费用。
验收记录建议包含哪些字段？
为每道题建立可复查记录，业务答案由授权人员确认。不要把含敏感信息的验收记录公开到官网或代码仓库。
- 问题编号、测试角色、文档版本、预期结果。
- 实际回答、引用位置、耗时、测试日期和模型版本。
- 是否通过、错误严重程度、复核人、修复与复测记录。
如何决定扩大试点？
比较相同任务的质量与耗时，减去软件、模型、实施、培训和运维成本，再决定扩展、调整或停止。发现权限泄露或关键业务错误时，应先修复再扩大。本文是通用实施清单，不是对任何特定客户环境的验收结论。