返回文章列表

GPT 在做什么?从续写一段话到完成一次任务

从词元、注意力和训练过程入手,理解 GPT 怎样生成答案,以及怎样判断一段答案是否值得采用。

文章目录

把同一段材料交给 GPT,一次请它写摘要,一次请它给初学者解释术语,它往往能给出两份面目不同的答案。材料没有变,发生变化的是生成答案时可用的条件。理解这一点,比记住某个模型的参数规模更实用。以后遇到答案跑题、结论出错或者措辞过于肯定,就能动手检查输入、上下文和验证环节。

从文字到词元

语言模型处理的基本单位通常叫词元。分词器按照预先建立的规则,把输入切成若干片段,再把每个片段映射为整数编号。一个常见词可能对应一个词元,较长的词可能分成几段。中文、英文、代码和表情在同一个模型里也可能有不同的切分方式。词元数量只能通过对应模型的分词器精确计算。

可以用编辑器里的几类内容想象这种差异。常用短语反复出现,分词器可能把它合成较大的片段。由随机字符组成的样本编号缺少规律,可能被切成很多小块。代码缩进、括号和换行同样进入序列。所以一页自然语言和一页机器日志,即使人眼看起来差不多长,占用的上下文空间也可能相差很多。

模型开始计算时,会把离散编号转换成一组可运算的数值。后续层不断在上下文里更新这些表示。同一个“窗口”出现在“打开一扇窗口”和“上下文窗口”里,最初的片段可能相同,但经过上下文计算后,可用来预测下一步的表示已经发生变化。这个过程使模型能在一定范围内结合邻近词语处理一词多义。

下一词元预测怎样变成长答案

可以先把 GPT 的生成简化成三步。模型接收当前已有的一串词元,给出下一个词元的概率分布,根据生成设置选出一个词元,随后把它接到已有序列末尾。新序列又成为下一步的输入。这个循环持续进行,直到遇到结束信号、长度上限或者系统要求停止。

例如输入“本次复盘首先要确认”,接下去可以是“目标”“数据”“范围”。如果前文说团队讨论了三种互相冲突的指标,“数据”的可能性就会提高。如果前文说成员对交付内容有不同理解,“目标”可能更合适。所谓生成条件,包含了你直接写的要求,也包含前文展示的语言、格式、术语和例子。

每一步都是局部决策,又会影响后续步骤。第一段写得太泛,第二段容易沿着泛泛的方向继续展开。开头误把两个人的角色弄反,后面再提到这两个人时,序列已经带着这个错误。长回答里常见的前后不一致,有时正是从一个小的早期偏差累积而来。对重要任务,先核对提纲、字段或者关键前提,能缩小这种错误扩散的范围。

生成过程也解释了为什么重复发问可能得到不同表述。只要系统允许从多个有一定概率的候选里选择,早期词元的变化就会改变后续答案。设置较低的随机程度,通常会让措辞和结构更稳定。服务端实现、模型版本和运行设置仍会影响复现,同样的输入也可能出现不同结果。需要比较版本时,要保留当时的上下文和任务设置。

注意力怎样利用上下文

在 Transformer 的基本结构中,自注意力让不同位置上的表示交换信息。对于正在处理的某个位置,模型会按照学习到的模式,给可见的其他位置分配不同权重,再综合其中的表示。不同层和不同注意力头可以利用互补的线索,例如相邻词语的搭配、句子之间的指代或者代码块中的结构关系。一个完整的响应来自多层计算,很难从某个单独的权重直接推断模型最终会说什么。

想象你提供两条记录。第一条说“项目使用甲版本”,第二条说“从周一开始改用乙版本”。如果问题是“周一之后该按哪版处理”,答案依赖后面补充的时间条件。把两条记录按发生顺序写清,给第二条标明生效日期,会让相关线索更容易被利用。如果输入里同时出现十份近似备忘录,其中几份还互相冲突,模型可能用到旧说法。将已生效的记录单独整理出来,比只强调“仔细阅读”更直接。

上下文窗口给出一次处理可以容纳的内容范围。实际任务还要为产品放入的其他文本、生成答案和工具结果留空间。能够放入很多文字,也只说明容量足够。关键信息被重复材料包围、落在不醒目的位置,或者术语在不同段落里的含义不一致时,模型应用条件的稳定性仍可能下降。输入之前做一次取舍,经常比追加更多材料划算。

训练与当前对话有什么关系

预训练阶段会反复提供大量文本片段,让模型根据前文预测后续内容,再用预测误差调整参数。经过许多这样的更新,模型捕捉到语言结构、表达习惯和知识之间的统计联系。它也会接触不同质量、年代和立场的文本,因此同类问题在训练材料里可能有互相矛盾的表述。最终参数里的关联需要在具体上下文中重新被调用。

很多供人直接对话的模型还经历后续训练。训练样例、人工或其他方式提供的偏好反馈、程序化的评测信号,都可以帮助模型学会遵循任务、保持回答格式和处理常见的交互情境。预训练让模型有广泛的语言能力,后续训练让这些能力更适合以对话方式调用。两部分的细节会随模型和产品变化。

当前聊天里的新信息通常通过输入上下文影响这一轮或后续轮次。假设你临时规定“文档中的蓝组指试验组”,模型能在此任务里沿用这个定义。打开一段全新的对话后,是否还能拿到原来的定义,取决于产品怎样提供持久记忆或历史材料。普通的一次对话也通常不会触发当场重新训练。项目术语最好保存在任务资料里,需要沿用时显式提供。

为什么像理解,也为什么会答错

实际任务经常需要把不同知识拼接起来。让模型解释一段报错,再用代码的位置和例外条件限定含义,可能得到一份颇有条理的诊断计划。这说明模型在上下文里可以完成组合、归纳和转换。同样的行为也会在资料不充分时出现。它可能按熟悉的表达结构,把一段推测写得像已经核对过的结论。

例如只给模型一句“服务偶尔返回超时”,询问原因。它可能分别列出连接池耗尽、下游响应慢和重试堆积。此时最有价值的产出是一组等待检验的假设。若答案直接断言“连接池配置过小”,就需要追问这个结论依赖哪条观测。接着提供超时时间分布、连接获取时间和同段业务量曲线,才能逐步排除某些解释。排查的进展由新证据推动。

事实错误也常出现在看起来最完整的细节上。一个像真的参数名、带日期的发布说法或工整的引用,读起来比较顺畅,并不说明存在对应记录。技术写作里可以把回答分为可直接对照输入的复述、需要推导的判断和有待采证的事实。给这三类内容不同的检查方式,比整体打一个“可信”分数更容易发现问题。

工具怎样改变回答条件

有些聊天环境能让模型读取你上传的文件、执行代码或者接入检索组件。常见流程是模型提出一次工具调用,外部程序执行相应操作,把返回结果放回上下文,然后模型据此继续生成。读取文件、运行代码和生成解释是不同的环节,结果定位也因此具体起来。比如求和结果不对,可以检查传入的列、工具返回值和最后回答各自有没有错误。

对于小型计算题,可以把模型用作解题思路和输出格式的协作者。有代码执行环境时,安排它生成并执行算式,再把输入样本和计算结果同时列出。缺少执行环境时,生成的数字依然需要独立算一遍。对于资料归纳,可以要求每条结论附输入里的段落编号,方便在自己的原始材料里回查。

工具结果也有适用范围。一次查表只覆盖这次输入的文件,运算只覆盖传入的字段和过滤规则。假设你问“哪个环节最慢”,任务应写明统计方式。比较平均耗时、最高一次耗时,或者耗时超过预期的次数,可能各有不同答案。模型可以帮忙展示这几种口径,采用哪一种仍取决于问题目的。

做一次十分钟的对照实验

准备一份虚构记录。记录包含三行数据,分别描述八次、十二次和十次执行,再给每行一个失败次数。第一轮把材料交给模型,请它“总结执行表现”。查看它是否自行选定了总体结果的口径,以及是否把行与行之间的失败率混为一谈。

第二轮明确提供口径。要求按执行次数汇总,分母使用三行执行次数之和,分子使用失败次数之和,再写一条比较每组失败率的补充观察。要求先列每一步算式,方便手工核对。这样可以看到同一个模型如何受任务定义影响,同时保留可以验证的中间结果。

第三轮在材料尾部加入一条修订,明确某一行原本登记了两次失败,复核后只有一次。问最后结果需要改哪些数字,并要求列出受影响的字段。模型如果使用了旧值,就在一段全新对话中,把已生效的数据重新整理为一张表再做一遍。两个版本的差距能帮助你判断,问题来自计算、指令表达,还是修订记录的组织方式。

在日常任务里建立判断习惯

选择一个低成本的重复任务最容易练习,比如把零散学习笔记整理成一段可发布的解释。先告诉模型读者知道什么、想弄清什么,再给两段依据,要求最后分别写出结论和仍需核对的地方。交付后回到材料逐句对照,记录哪些条件需要在下一轮表达得更明确。

出现偏差时,先定位最早的变化。是输入少了一条定义,早期提纲范围太宽,还是模型把带条件的结论写成了确定事实。如果漏了定义,就补资料。如果结构有偏差,就约定段落和字段。如果是事实问题,就提供可回查依据或删掉不必要的断言。修改最接近成因的位置,下一轮更容易看出哪一处调整真正改变了结果。

还有一个适合初学者的练习,是选同一段生成结果安排两种审阅。第一种只看文字是否流畅、读者能否顺着理解。第二种拿着原材料,为每句关键说法寻找对应依据。两种审阅各做几次,就会发现“写得好”和“有据可查”在技术博客中的作用完全不同。一个可靠的交付需要两种检查都通过,尤其是在提到数字、版本和操作步骤时。

如果一个任务每周都要做,可以保留一份很小的对照样本。样本里加入一条时间变更、一条容易误读的限定和一个已知可核的数字。每次换模型或者调整任务说明,用同一材料重新生成,再核对这三个地方。这样的检查可以在几分钟内完成,也能把个人使用心得积累成贴合自己工作习惯的判断标准。

逐渐熟悉这套流程后,对模型能做什么的理解会具体到某一种任务。你能识别它擅长把观察写清楚的地方,也能预先安排人工核对必须精确的地方。一次好回答的价值,来自它在这套任务、资料和检查方式里实际完成的工作。

返回文章列表