RAG 工程实训营 · 第 3 期：从知识库到可上线的问答系统

• 不同文档类型（制度文件、API 文档、会议记录）的切分差异
• 父子块：小块检索、大块喂给模型，兼顾精度和上下文
• 常见坑：表格被切碎、标题和正文分离、页码混入正文

本节产出：产出一份针对自己文档的切分规则，并说明为什么这样切

• 中文场景下主流嵌入模型的效果与成本对比
• pgvector / Milvus / 云服务的取舍：数据量、运维成本和迁移代价
• 索引类型与检索延迟的关系（HNSW 参数怎么调）

本节产出：把自己的文档入库，能跑通一次相似度检索

• 怎么判断问题出在切分、嵌入还是召回策略
• 混合检索：BM25 + 向量，以及融合排序的几种做法
• 查询改写与 HyDE 在什么场景下真的有用

本节产出：用一个真实 badcase 定位到具体环节并给出修复方案

• 重排带来的效果提升与延迟/成本代价
• Cross-encoder 与 LLM 重排的取舍
• 重排数量（top-k）怎么定：太少丢答案，太多拖慢

本节产出：在自有数据上对比加重排前后的效果差异

• 问题来源：客服日志、搜索记录、同事提问
• 标注什么：答案正确性、引用准确性、是否需要拒答
• 评测集规模：为什么 50~100 条就够开始，不必等上千条

本节产出：产出一份不少于 50 条的评测集和标注规范

• 用 LLM 做裁判的可靠边界与人工抽检比例
• 把评测接进 CI：改一次提示词就能看到指标变化
• 常见指标：命中率、答案忠实度、引用准确率

本节产出：跑通一次完整评测，拿到自己系统的基线指标

• 语义缓存能省多少，什么情况下会答错
• 简单问题走小模型，复杂问题才上大模型
• token 预算怎么算，以及怎么向业务方解释成本

本节产出：给出自己系统的单次问答成本估算

• 线上要埋哪些点：检索命中、引用缺失、用户负反馈
• 置信度低时的拒答策略，比硬答一个错答案更重要
• 人工接管入口怎么设计，反馈怎么回流进评测集

本节产出：完成上线检查表，系统可交付给非技术同事使用