返回文章列表

给 AI 回答做一份小型评估

用设备交接记录搭建一组可复跑的题,分别考察答案正确性、引用、缺失信息和版本变化。

文章目录

往提示词里加一句“回答要准确”,拿刚才那道题试一下,答案变好了。再换个问法,问题又回来。单题试错很适合快速定位现象,但很难回答“这一改动会不会影响原本做对的事”。如果模型会用于读笔记、提取字段或回答常见问题,可以从一组小题开始评估。它可以只有十几道题,只要每题都能说明为什么算答对,换模型或改提示时就有了一个可重跑的检查。

按任务写出可以判断的目标

先限定一个任务。假设有三份虚构的设备交接记录,希望模型回答器材何时交接给谁、还缺哪些配件。请把目标写成能核对的行为:读出当前记录中的日期、对象和状态;数据缺失时写明缺什么;有旧记录和新记录时按照题目指定日期判断;给出支持结论的记录编号。把回答语气、是否用完整句子等要求另写,避免在评分时用漂亮文字替代正确事实。

然后先亲自用材料解一遍。假设交接记录甲写着“五月三日,录音机借给小周,领用时配有一条线”,记录乙写着“五月十日,已归还录音机,领用登记中的线未随设备归还”。问题是“十一日盘点时还欠什么”。预期答案应指出线、对应设备和记录乙,且不把机器写成仍未归还。这几个条件比要求答案和参考句完全相同更宽容:换成“未归还线材”也可以通过。若问题问“线是哪种接口”,原文不足以判断,需标注缺失信息。

有时业务定义存在两种理解。例如“逾期未还”是指超过预定时间未归还任一配件,还是仅指主设备。先在材料或题干中写明定义,然后保留一题专门检查它。题目如果没有给出必要口径,评分人很容易根据自己的理解给模型扣分。把定义补齐的过程也会暴露原系统中尚未约定的地方,主观困惑便能转成一条明确的输入条件。

让题目包含常见问题和容易错的边界

第一组题可以十几道。挑四道日常确实会问的问题,给出直白的原文查询。再挑几道含相似人名、设备编号、时间跨度或附件遗漏的题。最后编几道答案确实不存在、两份记录有冲突或无法确定日期的题。不同角色和状态混在一起时,要给最小差别的几道题,例如把“领走时间”“约定归还时间”“实际归还时间”作为三个不同问题。模型每次都给同一个日期,三道题合计就能把这类问题挑出来。

不要把全部材料都写成相同长度、同一语序和同一种日期格式。把几个合理的变体放进去,例如阿拉伯数字的日期、中文数字日期以及从表头读取的年份。文字变化应保留可读性,重点观察真实场景里出现的格式。也可以保留一个很简单的题当作检查:如果连续几版本都答错,可能是材料读入、网络重试或新提示中有格式变化。在难题之前先看简单题,能少查一些不相关的方向。

每题记录问题原文、输入材料的版本、预期事实、必需引用以及哪些说法会扣分。以一条状态题为例:预期事实是“设备已归还,线未归还”,必需引用是归还记录乙,扣分说法包括“设备仍待归还”“线已经补齐”。也可以列出可接受的同义词。若有一道题曾经来自真实工作,公开样本可以换成自拟的名字和编号,同时保留问题涉及的结构,比如同一编号跨月份重复出现。

采用人工可以复核的评分办法

简单评分可以分成四列:事实、遗漏、引用、格式。每列都标“通过”“失败”或者“本题不考”。事实列看答案是否和原文一致,遗漏列看必须答的几条有没有写全,引用列看材料是否存在且能支持所写结论,格式列看能不能进入下游。每题再保留一句判定理由。两人若对同一道题的分数有分歧,看看是规则说得不清,还是有人漏读证据。把标准修订后应用到所有版本,比较才有意义。

一条回答可能在几个维度同时表现不同。比如“设备已经归还[借出记录甲],还缺一条配件线[归还记录乙]”。状态正确、配件也正确,但第一个引用指向借出记录,无法支持归还。可在事实列通过,引用列失败,并记下该引的记录。再比如输出符合模板,却补了原文没有写的接口类型,格式通过、事实失败。将它们表示为一列总分,过几天看结果时就很难知道该修改哪一步。

严重错误可以提前定义,例如把已归还误报为未还、把不同编号当作同一台、漏掉一条必须归还的配件。评价版本时,先看有无严重错误,再看其余维度。若直接平均四列,一个回答可能靠排版和流畅程度盖过状态判断错误。实际使用中,输入输出和具体场景约束不同,严重错误也可相应调整。对于生成学习卡片的任务,把错术语教给读者就可能是首要问题,而漏掉格式中的空行影响较小。

分清自动检查擅长的部分

确定字段和输出结构可以交给程序。比如输出必须包含一个设备编号、一个状态值和来源列表,程序可以校验字段是否齐、状态是否在预设集合、来源编号是否来自提供的材料。对于日期和编号,程序还能做标准化和精确比较。运行没有通过时可给出明确的失败项,比如“找到一个引用编号,但它不在本题输入里”。先做这类检查,人工就能把时间用在原文有没有支持答案上。

遇到开放式总结,可以请另一个模型按评分标准给出初评,同时保存它指出的证据。先拿少量人工已经判过的答案对照,看看它最常在哪类题上误判。有的评分模型偏爱详细答案,会给多写了无来源细节的答案高分。也有时候,只因为答案没有几段大标题就判整体不清晰。把要求改成“列出答案中的可核对事实,每条匹配原文一句,最后依照规则判定”,可能更方便抽查。开放式评分保留原始输出和复核记录,对存在分歧的样本用人工确定结果。

顺序也可能影响成对比较。要比较提示词甲和乙时,可以隐藏标识,部分样本随机换位置,然后检查换序后判决是否变化。假如某题中两个版本分别漏掉不同事实,先回到预期事实逐条作答,再将维度合并。若确实各有取舍,可以留下并列或分歧,而不勉强挑一个胜者。这些观察能够帮助改进评分要求,因为有时评估结果的波动来自一道没有写清楚的题。

运行的时候让结果可以重现

每次运行记下模型版本、提示词版本、材料版本、配置和时间。模型若允许控制随机性,可以记录相关设置;同样的调用也可能受服务实现或外部变化影响,因此要保留真实回答。最好输出一个简单表格:运行编号、题号、模型回答、判定、事实理由和状态。中途失败时区分“服务调用失败”“输出不能解析”“任务内容答错”。三者的重试策略与改法不同,合成一个标记会影响判断。

第一次运行保留作基线。第二轮只改一个步骤,例如在材料里加入统一的来源编号,或者明确缺证时应如何表述。拿两轮逐题对照,找出原来正确后来失败的条目,以及原来失败后来通过的条目。观察同一道关键题多跑几次的结果。如果五次回答有三次引用正确,两次引用了同一份旧记录,可以记为“五次中三次通过”。一次偶然的表现不足以判断是否稳定改好了。

为了避免一直对着同一组题调提示,可以留几题到最后才看。题型可以和前面的相似,但换用其他名字、记录格式和事实排列。如开发时常用到“五月三日借出、五月十日归还”的材料,留存题就改成跨月、先写归还后补录领用。发现提示词只适用于之前的材料顺序时,调整说明以要求依照事件时间和状态来判断,再保留另一个新样本检查。留存题用过几次后也会变熟,可以定期补充新的例子。

用一组结果决定下一轮改什么

假定基线在十六道题里,十题的事实正确且引用无误,四题给出正确事实但引用错,剩下两题填了记录里没有的配件信息。第二版在提示里要求每个事实后跟编号,引用错误减到两题,可是同一条材料遗漏时开始输出空白。这个变化值得按题看。空白输出是否可接受取决于前面写好的缺证规则:如果需要显式写“记录没有该信息”,空白必须在格式或缺失处理上记为失败。

还可以根据错误分组做下一轮实验。引用总是指到账册而非维修记录,可以让材料标题同时包含类型和日期;多个同名设备混淆,题干和材料可增加设备编号,模糊提问就先请求消歧;答案经常加上无关背景,可以降低格式输出篇幅并要求仅写涉及该问题的信息。为每项改动指定预期会提升的几道题,同时检查原来容易答对的问题有没有变化。只汇报“正确率由某数字变为某数字”不够用,具体哪些题发生变化才会引导下一步。

维护一份能用得下去的题集

评估题集会随着实际任务变化。发现一种新错法时,可以先写一个原始样例,再写理解这类问题所需的边界样例。比如“绿标设备”的含义在六月和七月改变,就写两道按不同日期询问的题;若一次实际答复把来源顺序放颠倒,顺手加一题明示原文顺序与时间顺序不同。只靠难题也会让汇总过于悲观,因此保留一批常见、简单、真实会问的题。

每次添加题目时审一遍原材料是否足够、答案是否只能通过材料确定、评分尺度是否与任务一致。检查发现问题就更正题目版本,写下哪一条改了,再在新旧配置上各自重跑这一题。拿旧运行结果和新题直接比较会把标准变化混进去。小规模检查可以将题目和结果放在一张表里,随着数量增加再用脚本批量跑。实际每周能维护多少条,比初版做多大更有参考价值。

尝试的起点可以很小。挑一个常问设备状态的问题,加一个日期容易读错的问题,再加一个材料缺项的问题。分别记录合格答案必须包含的事实和来源,并跑一次当前配置。接下来每碰到一种实际错误,就增添一条可复核的样本。改提示、换模型和更新资料时都用同一套问题检查一遍。运行几回以后,从记录里便能看到答案为什么变好或变差,以及哪些问题仍需要补材料或人工核对。

返回文章列表