返回文章列表

Token 和上下文窗口:长提示词到底占了哪里

从中文、代码和历史消息的计量出发,用一次表格分析练习验证窗口预算、截断位置和长文本检索。

文章目录

把一篇长文贴进聊天框,然后问模型第三段里的一处数字,答错了有很多可能。那段只在附件里,产品没有提取出来;输入太长,早期消息被裁掉;段落确实进入了请求,模型却从另一段借来了数字。三个问题的处理方式分别是检查文本提取、调整请求结构和改进定位。只说一句“模型记性不好”,会让几种现象混在一起。

Token 是模型处理文本的单位

模型通常先用分词器把文本转换成整数,再处理这些整数。整数对应的单位叫 Token。它可能对应一个常见词、词的一部分、一个汉字或多个汉字,也可能对应换行、标点附近的片段、表情符号的一部分。分词器的具体词表和合并方式决定切在哪里。即便两段中文看起来一样长,常用词组合、罕见字、连续空格、代码缩进和混排数字都会影响计数。

可以准备四行内容做一次比较。第一行写“我在整理今天的学习笔记”,第二行改成十来个生僻字,第三行放一段带缩进的短代码,第四行放一个表格行,包含日期、分隔符、数值和单位。先数读者看得到的字符,再用实际要调用的模型所对应的分词器统计 Token。若调用平台提供请求用量,还可以把四行单独发送一次,对照输入用量的变化。记录分词器的名称和版本,方便下次重新测量。

同一行文本经过不同模型的分词器,切法可能变化。因此,把“一个汉字大概多少 Token”作为临时估算可以应付粗略计划。面临长度限制时,应当直接测量实际文本。用量记录给出的是平台统计口径,消息角色、对话包装、工具定义等额外内容也可能出现在其中。把纯正文的本地计数和实际请求的用量并排看,更容易发现差额来自哪里。

上下文窗口里装的不只有最后一句话

一次请求中,应用可能塞进已有对话、当前提问、系统设定、工具说明、工具返回结果、选中的资料片段,以及前一轮生成的答复。聊天界面能向上滚动,并不能据此知道哪些内容真的进入当前请求。有的产品保留最近消息,有的会摘要,有的按相关性查找旧记录。模型实际接收的内容取决于应用怎样组织请求。

除了总窗口,一些系统还分别规定输入或输出上限。计算预算时应使用具体接口对窗口和输出的定义,并考虑应用自身限制。例如,假设一个接口总窗口为三万二千 Token,单次输出另外受限。计划生成两千 Token 的回答时,输入的可用空间要给回答以及各种附带信息留余量。把二十九万字的文件放进一个只支持几万 Token 的调用,无法用一句“请完整读取”解决。若使用支持附件的产品,也要了解它会全文读取,还是只取匹配片段。

实际使用时,可以画一张简单的请求清单。以一次合并项目笔记的请求为例,列出固定指令、任务说明、旧对话、原始摘录和预留输出。固定指令占少量空间,却决定答案格式,优先保留。旧对话里已经确认的术语定义值得留下,前面十轮关于命名的争论可以用一条明确结论接替。原始摘录里和当前问题直接相关的表格行需要逐字保存,因为摘要可能丢掉小数点、单元格或口径。

为什么能装下的资料也可能取不出来

上下文窗口给出容量限制。模型处理一份长输入时,对具体信息的定位表现还会受到格式、信息重复、措辞和位置影响。想知道某段材料有没有被用上,可以设计三个近似的输入,把同一条证据分别放在开头、中间和结尾,其余材料保持一致。提问中要求给出数值、单位和行号,再把输出逐项核对。

测试用虚构资料就足够。例如写三十条设备巡检记录,只有记录十七提到机柜电源在周二下午被更换。把正确的部件号写成一个容易核验的短标识,同时在别的记录放几个形似的编号。问“周二下午更换了哪个部件?请给出完整标识和原记录号”。把证据移到不同位置后,若发现某次答案选了相似编号,再看模型引用的行号指向哪里。把同一个问题换成“以记录十七为准”,有助于区分查找定位和精确抄录两个环节。

接着让正确记录也包含一条相近但不同的状态,比如已接收备件和已更换部件各有一个编号。若模型仍选错,就需要改进问题的约束,让它区分动作和时间。若明确指定行号后仍抄错,小数、前导零和短码可由程序从源数据读取,模型负责解释其含义。这样,错答能够对应一个具体步骤,不必只看最后答对了多少次。

在聊天里做一张小型预算表

假设手头有一份十页的学习笔记和两张实验对照表,想输出一份复盘。先写清任务边界:只讨论测试方法、误差来源、下一轮要验证的假设。再把输入材料分成几类:复盘必须依据的结果、解释结果所需背景,以及留待查阅的其他内容。挑选哪些内容直接进入请求时,可以问自己:“这个段落被移走后,答案需要的哪条事实会失去来源?”找不到具体影响的段落,往往可以放进附录。

在正文首部放任务和主要限制,中部放可编号的摘录,末尾放希望收到的结构。结果表统一注明日期、列名、单位和缺失值。可以要求模型先以两三行列出它识别到的材料编号,再写结论。这样一来,如果输入提取在某处漏了表格,而回答恰好看起来合理,也有一个机会尽早发现。每次新加附件时,可以检查附件内容在纯文本里怎样呈现,尤其留意合并单元格、跨页标题和页脚。

最后把第一次请求的用量、回答长度和漏掉的事项存下来。若答案经常截在中途,要同时查看输出上限、正文体量和是否存在产品主动停止等原因。可能只需把“对每个章节逐条评论”的要求拆开做,也可能是输出预留过少。重试时只改一个变量,才容易判断变化是否真的解决了问题。

几轮复用同一份资料时如何缩短历史

对一份项目笔记提问二十轮,如果每次都带上全文和所有历史消息,后期上下文里会不断出现重复内容。更实用的做法是给原文稳定编号,挑选可复用的短摘要和每轮所需证据。比如“方案试验第二次更换了数据版本”来自实验记录二第六段。常用摘要可以写成“第二次试验使用新版数据,详见实验记录二第六段”,具体版本号和时间留在原始段落。

在第十轮时,可把已确认状态整理成四行:已确定的目标、当前约束、已证实的事实、尚待验证的疑问。让未来的问题引用状态里的编号。讨论数次后,如果结论变化,更新其中对应的一行,并保留原始出处。这样可以减少从旧消息中借用过时结论的机会。若摘要里出现“预计”“待复核”这样的词,保留它们也很重要。模糊的推测不能在一次次压缩中悄悄变成事实。

还有一种常见情况:旧讨论里同名变量有两个含义。譬如两轮实验都叫“批次一”,实际分别属于不同月份。可以在材料进模型前补上完整标记“五月批次一”和“六月批次一”,并在表格列保留日期。简单整理过的文本比一段同样长度却上下跳转的聊天记录更容易查找,也更方便人核验。

用两套输入试出当前任务需要的长度

做一个小对照,把同一个问题分别发给两组输入。甲组只包含直接相关的六条记录。乙组额外保留整个实验背景与一些不相关的结果。要求两组都输出三项:阶段结果、可据此下的结论、现有材料无法解答的问题。把它们的结论逐条划归到支持、矛盾或缺证三类,并核对引用的表格行。这样的测试比主观评价“甲更流畅”更能指导日常处理。

如果甲组漏掉背景导致误读,乙组却准确说明限制,下一轮可把必要背景补进甲组,提取其中最小的一段。若乙组反复被多余数字带偏,甲组表现稳定,则可以按当前问题检索对应段落。对于问“哪条记录写了某数字”的任务,短而完整的证据通常很合适。对于要比较多个季度政策变化的任务,要保留足够跨度和每个时期的定义,否则很容易把近义词或沿用的列名理解成一样。

对照还可以加入一个小关卡:保持两组输入的目标和材料一致,只改变输出要求。第一版先给结论后列证据,第二版先列最相关的三条证据再归纳。每个问题都记录是否遗漏单位、是否误用旧版本、引用是否真实存在。不同任务对证据排列的敏感度不一样,依据几组自己的样本调整,会比直接套一种模板省去不少试错。

读文档任务的几条判定线

在读表、提取字段和总结材料之间分清目标,能够更快定位问题。读表时,精确值、日期和单位比文风更重要,可以检查行号、列名与原值的对应;提取字段时,要约定缺项输出空值、保留字段缺失或者明确报错,选一种适合下游的办法;总结时,每条主张能否在原文找到根据,比是否保留所有原句更重要。不同任务对输出长度的要求也不同,一份逐栏校对表常常比一段结论摘要更长。

一个完整练习可以用三条自己写的虚构记录开始。第一条记着五月十二日,温度二十六度,地点为甲房间。第二条记着五月二十五日,温度二十四度,地点为乙房间。第三条记着六月九日,地点为甲房间,温度空缺。先问“五月甲房间是多少度”,再问“六月甲房间是多少度”,最后请模型根据已记录温度比较两房间。核对它有没有把五月的数据借给六月,有没有把空缺填成零,还有比较时是否说明样本只有各一次。接下来增加几十条相似记录、调整排序、加上列名和编号,再观察哪些改动真的改善结果。

哪些信息需要逐字保存,往往是设计上下文最重要的判断。对于术语解释,可以压缩冗长背景。对于条款差异,应保存两版原句和生效日期。对于结构化数值,可以让程序读取表格,模型用自然语言写解释。对于项目协作,提供本周确认的决定通常比放进三个月的全部讨论更有效。把原材料整理成可追溯的小块,追加证据时就能知道它占用了哪些空间。

遇到上限报错,从哪一项减起

收到长度错误时,先保存当次输入和预估计数。可以暂时去掉旧答复、低相关摘录和重复的格式示例,再重新运行同一个问题。缩减时先保留问题里的限定词、来源标识、日期和输出必需空间。若文档自身仍然太大,把它按章节、条目或时间切开,每块生成可回查的结果,然后按编号合并。对于含表格的资料,每块都带上表头和单位,跨块合并时对照总行数。

还可以检查长回复里是否有大段内容被连续重复。假如希望模型输出一百条近似结果,建立一个固定列的表,再让每批处理二十条,并核对输入输出条数。涉及代码、表格和标识,批次边界要明确包含哪几条,以免重试时遗漏或重叠。若生成任务包含全局比较,等分批结果齐全后再做整体验证。例如先逐批抽取每个实验的指标,再统一按同一单位比较,不通过逐批摘要决定全局最高项。

测试可能显示短提示词也会答错。把总长度降下来以后,再看具体证据的句法和数据边界:同一个代词有多个先行词,或者两张表都使用“调整后”却指不同操作,长度变短也不能替代消除歧义。给资料标出清楚的对象、时间和单位,让模型写出依据的人也能回头检查表格。长期保留这些小样本,等换了模型、上传方式或提示格式,重新跑一遍,就能知道新的对话方式是否适合手上的工作。

返回文章列表