返回文章列表

给个人笔记加一个 RAG 问答入口

从室内植物观察笔记出发,把文本切片、关键词与向量检索、来源引用和效果核验串起来。

文章目录

假设手边有两个文件夹,一个存植物培育笔记,另一个存每月的阳台观察记录。想回忆“上次换盆后多久重新浇水”,先翻哪篇文件并不明显。搜索“换盆”能找到不少结果,但最相关的一篇可能写的是“上盆那周先观察土壤”。RAG 的思路是先根据问题找到可能有用的资料,把资料交给模型,再根据材料组织答案。这个流程可以加在原有文件夹上,笔记仍能继续用日常方式编辑。

用少量文件凑一份可查的资料

准备六到十份 Markdown 或文本文件。可以写几条不同植物的虚构观察,给每条加上植物名、日期和动作。例如,同一份笔记中写“六月八日给迷迭香换盆,六月十二日观察到表土干燥后浇水”,另一个月的记录写“七月二日只给同一盆植物补土,七月三日浇水”。保留几条只写了变化却未写处理的记录,方便之后测试证据不足。对于自己已有的真实笔记,也可以先复制一个很小的子集做练习,方便人工检查全部内容。

建立一个索引表,记录每份文档的编号、文件路径和修改日期。编号可按内容赋予稳定含义,如“迷迭香观察六月”,文件改名后仍使用原编号。一些文档内的日期是观察日期,文件修改日期是编辑时间,两者应保存在不同字段。一次用旧记录回答近期的问题,可能是因为文档缺日期,也可能是因为查询时没使用日期筛选。有两个字段后才有检查的基础。

切片要保留能支持答案的上下文

索引构建要先把文档切成片段。可从 Markdown 二级标题开始切,对太长的章节再按自然段切。每个片段带上文档编号、章节标题、段落位置和必要的日期。对于观察表,把表头和列单位复制到每个独立片段,否则“六月十二日,三,正常”没有足够信息。一个片段太大,相关段落容易夹在许多无关内容之间;太小,又可能只剩一句“第四天补水”,连对象或起算点都没有。

以迷迭香记录为例,若换盆和首次浇水分属相邻段落,需要让检索有方式把这两条一起拿到。可以把同一节下的短段合并,也可以给相邻段加同一章节编号,在某段命中后按需补上一段。机械地重叠很长一截会让结果列表充满重复。重复占掉的名额本来可以给补土记录或不同月份的观察。因此,切分后先看几条实物,从片段本身能否读懂对象、时间和事件,再选择合并或扩展。

如果笔记里有图片和附件,先确认文字里有哪些信息。照片只有文件名时,文字索引通常只知道名字和旁边的说明。若照片记录了新叶出现的时间,而原文没有描述,可以为照片补一条简短说明,写清拍摄日期和可见变化。遇到只存成扫描件的材料,也可以先检查提取结果是否保留可读的句子和行序,否则检索和模型都只能基于残缺文本工作。

先通过关键词得到容易检查的基线

最朴素的检索可以从全文找词开始,给命中植物名、动作和日期的片段加分。查询“六月迷迭香换盆后什么时候浇水”时,植物名和月份通常比“什么时候”更有信号。可以让精确名词出现在命中条件里,动作词作为加分项。中文分词或字串匹配都能用来做这个小练习,区别可以通过样本比较。比如记号“盆栽三号”最好保持整体匹配,避免把所有带“三”的记录都找出来。

把算法挑出的前五条打印出来,每条显示得分、命中的词和原段落。直接看“第几条开始跑偏”。如果正确片段排得很低,检查看看用户问题用的是“换盆”,来源写成“移盆”,或将“补土”误当作同一个动作。已有几十份文档时,可以先补少量常见别名,给专业名称保留精确匹配。简单的关键词版也适合用作后续评估的基线,因为漏在哪里通常一眼能看出来。

再看向量检索能补哪些漏项

向量检索先用嵌入模型把片段转成一组数值,再用同一个适用的模型表示问题。搜索时比较问题与片段的相似度,把更接近的片段排在前面。它有机会把表达不同但含义相近的句子排上来,例如把“缓过来之后才第一次补水”和“换盆后几天再浇水”联系起来。精确编号、日期和罕见代号仍适合由关键词或字段匹配。相似度高也只说明文本靠近,请求还需要核对对象和时间是否吻合。

把关键词版曾经失败的几个问题再次运行,逐条比较两个列表。某次向量检索把“上盆后浇水”的段落提到了第一位,但命中的是薄荷。此时可以限定候选都属于迷迭香,再比较与动作的相似度。再换一个不带明确信息的问法“上次给香草换盆以后怎么照顾”,若没有单一植物,可能需要从不同资料里一起取片段,回答先说明各条来源分别是哪盆。这种场景需要评估筛选是否太严。

混合检索的第一版可以把两个列表按排名合并,再按片段编号去重。无需把两种分数直接相加,因为两个分数的分布和含义不同。若网页里有“只查迷迭香”的筛选项,可以在检索前限定植物字段,或先取更多候选再过滤。区别是过滤前如果只取很少几条,正确植物可能来不及进入候选。保存候选与最终顺序可以看出是哪个步骤丢掉了它。

把每个回答挂回原材料

模型收到的是问题和若干有编号的资料。可以给它固定的任务格式:“先回答记录中能确认的内容。每个日期和动作后写资料编号。若没有记录,说明当前材料缺少哪一项。”以六月记录为例,理想答案是“六月八日换盆,六月十二日记录了换盆后的首次浇水,相隔四天[迷迭香六月,第二节]。”日期差可以在应用里计算,让模型根据已算出的间隔写自然语言。若原文只说十二日浇了水而没有“首次”,就应写成“已查看的记录显示十二日浇水,是否在此前浇过没有记载”。

来源标识应该能带读者回到具体段落。可以在回答下列出文档名、章节和原文摘录。打开来源时如果文件已经更新,可以显示当前文本,并把索引阶段用过的版本号或修改时间一起留下。读者看到结论和证据相邻,便能发现引用是不是放错地方。比如前一句说“补土后第二天浇水”,对应引用却是六月换盆笔记,哪怕两句各自看起来合理,拼在一起仍不可靠。

有时模型会给出不存在的资料编号。应用可把输出中的编号与本次提供的列表核对,存在的才能做可点击引用。若缺少来源,展示时可以将该答案标为待核对,或者只显示已经核验过的相关片段。对于表格列名、参数编号和天数,模型可能把原文抄错;先由程序读取精确字段,再由模型写总结,用户也能拿这些值和原始记录逐项比对。

一组小题能量出哪里出了问题

先写十二个问题,每个都指定预期证据或者明确无答案。样本可以覆盖精确植物名、别名、跨两段组合、含日期筛选、两份材料冲突和资料缺失。先逐条完成金标准:例如“六月换盆后多久浇水”需要换盆日期和浇水日期两段,“七月第一次施肥是什么时候”在现有文件夹没有记录。所需证据需要注明完整范围。只找到换盆日期却没有浇水段,不能算完全找对。

运行时分两层记结果。第一层看交给模型的前几个片段中,所需证据出现了多少条。例如十个可答的问题,有八个的完整证据出现在前五条,就记录八比十。另记命中时首条正确资料在第几位,有助于发现调整排序是否带来帮助。第二层看模型答出的事实、引用和对缺失项的处理。保留一次原始回答,再跑同一版本复核几次容易波动的问题。换文档切分、检索方式或回答指令时,记录版本,才能把变化和具体设置对应起来。

比如一个问题丢了对照月份,先查看候选列表。若列表有六月也有七月,但模型只写六月,问题可能出在阅读和回答要求。若候选只有六月,先调整检索条件或接受更多候选。若正确段落始终不在索引里,回到文本提取。诊断后只改一个环节,再对同一组题重跑,汇总变化的题目。新规则多拿到一个正确结果,也可能使另两个相近问题从第二位掉到第六位,整组检查才看得出来。

文件变化时保持索引和原文一致

个人笔记很容易修改、重命名或删除。可以为文件内容计算摘要值,只重新处理发生变化的文件,再以文档编号替换其旧片段。更新前后统计片段数量,检查旧版本的标题是否还会通过搜索出现。文件删除时也要同步移除相关片段和索引路径。一次构建若只写入了部分内容,问答可能时好时坏;先写新索引,完成后再切换到新版本,能使测试结果对应到一套完整材料。

比如六月记录写错日期,今天纠正后更新文件。重建完成后搜旧日期,如果还能找到已经删除的错误记录,就检查是不是保留了旧向量、查询缓存或重复文件。再用同一个问题检查答案是否引用新版本。记录每次索引构建用到的文件数量、最近修改时间与出错路径。对于频繁编辑的少量文件,按键手动重建往往足够;数量增加后再考虑自动触发和增量更新。

把练习收束为一条能反复检查的流程

先选一个最常翻的文件夹,提出三类自己确实会问的问题:查一个事实、比较两份记录、确认有没有记录。用最简单的搜索取出段落,在打印的候选里手动打勾。随后加上模型生成,检查每个结论能否定位到引用;最后扩大样本,再比较向量检索和关键词是否各有优势。如此可以很早发现“记笔记时从不写日期”这类资料原因,往往只需回到文件补上一列。

也可以给典型的困难问题建立检索日志。日志保留问题原句、应用日期筛选的结果、交给模型的片段、回答和人工复核。两周后再次构建时,拿同一道问题检查候选是否变化。若越加资料越容易出错,可先找是否出现了多份模板相同的月度记录,或同一份笔记被导出了两次。前一种适合补足日期和对象,后一种适合通过文档编号或内容摘要去重。把一次明显的错答变成一道可重复运行的题,下次修改代码或笔记格式时便能当场查验。

等流程能稳定回答植物记录,再换到读书笔记或工具手册。同一套实现里,植物名称筛选可以换成书名或工具版本,章节摆放、内容去重和标注来源的做法继续沿用。对于不同资料,错误代价和所需证据各不相同。书摘可能允许用相邻一章补足背景,版本配置则需要精确到某一行。每次更换资料,先挑几道这样的边界题,看看是否还需要在切片里多带一个标题、日期或者版本号。

返回文章列表