让 AI 读懂图片、图表和截图:把观察与推断分开
通过折线图、界面截图和扫描笔记练习图像理解,了解裁切、视觉证据、数字核查和多图比较的用法。
文章目录
同一张图可以提出几种不同的问题
一张应用界面的截图可以用来抄出提示文字、说明按钮的位置,也可以用来分析用户接下来可能遇见的困难。三个任务用了同一个输入,对证据的要求却差很多。抄字可以和图上文本直接比对,描述按钮位置依赖截图的边界,推断用户遇到的困难还需要知道操作目标与当前步骤。把问题说成“看一下这张图”只交代了输入,剩下的任务类别都交给了模型猜测。
可以从一句有产出目标的话开始。例如“把绿色区域内可见的四个字段逐项抄出,保持单位和大小写。无法识别的部分用问号标记”。又如“我正在核对手机上导出入口的位置,说明最可能的入口在哪个区域,列出画面上支持这个判断的文字”。第一种以文字为准,第二种需要把观察转为行动判断。回答如果提到没有在图上出现的流程,自己就知道该去实际界面查证,或者补一张操作后的画面。
模型接收到的图像信息可能经历尺寸调整,也可能通过分块表示得到细节。具体处理方式随所用工具而变化。对你而言,更好用的判断依据是细节在输入里究竟占多少面积、哪些文字相互拥挤、它们需要和哪一块内容对照。全屏图片容易保留层级和位置,局部裁切能把关键字符放大。保留一份原图和一份要核查的特写,通常就可以观察这两种信息是否能同时支持答案。
从可定位的观察开始阅读折线图
准备一张自造的折线图作为练习。横轴写周数,纵轴写平均完成时间,单位是分钟。两条线分别代表版本甲和版本乙。第一周甲线在十二附近,乙线在十附近。第二周甲线降到约九,乙线接近原位。第三周两条线都在约九附近。你可以只把大致趋势画出来,不给每个点加数值标签,以便观察模型遇到信息缺口时如何作答。
第一问请模型识别标题、横轴、纵轴、单位和两条线的图例。检查每一项有没有对应的可见文字。第二问请它描述从第一周到第三周的变化,指出哪一周差距更明显,并给出依赖的点或线段位置。第三问再问能否计算两条线在第二周的准确差值。由于练习只给出了位置与刻度,回答中应当能看出估读的来源,以及图上有哪些信息支持这个精度。自己还可以临时补上数据表,观察给出实际数值后同一个问题如何改变回答。
图表的原始数据有公开说明时,可以对照说明核查分母、单位、采样范围和定义。两条曲线交叉只反映画面的那一段数值关系,有效比较还取决于同一指标如何计算。比如甲线在九到十二分钟之间,是全部任务的均值,还是只统计完成了的任务?如果图下说明缺失,回答可以保有“图上可观察到的差距”,将纳入范围留成需要查看原始数据的问题。这样写清了观察适用的范围,也能对后续查证给出方向。
再换一张柱状图,保留同一批数值,把纵轴起点从零改到八。读者往往会觉得两根柱子的差异变得很大。问模型画面怎样强化了差距,以及数值本身以单位表示差多少,能检查它是否分别处理视觉印象与数据变化。若图有双纵轴,读图顺序还需要补上每一条线对应的轴。图例颜色很接近时,可另外说明线型或标记形状,有助于关联回正确图例。
截图里的顺序与空间位置会影响判断
遇到程序中的提示信息时,单张截图常显示最后一步。此前点击了哪个入口、中间是否有确认弹窗、文件是否已经选定,都需要从别处提供。可以让模型把输出分成可见文字、画面状态和待确认事项三个小段。比如可见文字里提取提示语;画面状态里指出对话框打开、底部按钮变灰;待确认里留下保存动作是否曾经执行。将“按钮是灰色”与“按钮无法点击”分开看,因为颜色和交互状态有相关性,实际是否能触发还可以交给键盘或鼠标测试。
当需要从截图指导人操作时,用存在于画面里的定位作为入口。比起“打开设置”,可以要求它给出当前画面里的区域、标签、相邻图标和菜单层级。如果存在两个齿轮图标,让模型描述一个在导航栏、另一个靠近表格列名的差异。这样即使截图和用户眼前的版本略有不同,位置关系也能提供一个可查线索。对步骤中现有画面无法看到的部分,可以留下一个问题或先用本地环境点一下取得下一张图。
假如希望比较同一个界面的两版设计,先放两张尺寸一样、处于同一流程状态的截图,分别命名为改动前和改动后。提问时指定一个目标,例如“第一次设置阅读主题的人能否看见保存入口”。模型可以先列出实际变化,再说明每一处与目标的关系。人的复核可用一个现成动作完成,例如按访问顺序浏览菜单、键盘移动到保存按钮,并记录在哪里卡住。只看静态截图无法确认颜色和状态在真实交互中何时改变,重复操作就能为这种疑问补充证据。
手机截图有时截不到页面下半段,桌面图则容易带着几个无关的工具栏。发图前可以在自己的设备上再次打开截图,从头到尾看一遍,检查屏幕外的内容有没有被截断。若同一场景分两张图,保留一个重叠区域,例如两张里都出现相同条目或区段标题。模型靠这个区域对齐连续性,自己也能判断某个按钮究竟在哪一页、两张是否拍到了不同的内容状态。
从扫描笔记提取可查证的结构
可以用自己手写的一页小组学习计划,放入三个短句、一张时间表和一条划掉后改写的日期。拍照时保证纸面平行于镜头,尽量有均匀光照。第一轮让模型逐行转录,允许它标记读不清的部分,同时描述行的位置。若日期改写处的两组数字都可见,可以问它哪一组被划掉,依据是笔画位置还是旁边重写的标记。对别人笔记中的特殊记号,也可以先给出符号含义,再让它纠正第一轮识别。
当原图内容已经简单确认,可以再请模型改为表格。提醒模型列明原句和它填入的字段。例如提取人物、任务和完成时间时,没有日期的记录需要保留空值。图片上的“下次”仍是一段相对表达,想把它换成日历日期需要提供笔记拍摄或编写的基准日,并说明“下次”的定义。把原句一起保留,后续读者才能核对日期是否从图上取得,以及为什么仍有几条不能填具体日期。
扫描件里最难的部分常常是表格边缘、折痕中的字符和很小的脚注。把这些区域裁成特写,有必要时保留对应列标题。若 OCR 软件也能读,先转录同一区域,把两个结果差异最大的字符圈出来。这样决定人工复核范围会更快。两个识别结果一致的地方也有可能共享上下文猜测造成的偏差,例如把不常见的人名替换成常见字。名字、编号、小数点以及单位适合直接照图逐项比对。
图像画质不足时,修改提问有时只能改变表达方式。比较有用的做法是从更接近源头的位置获取材料,例如重新截图、使用原图文件,或在光照好的地方重新拍摄。可以把原图和重拍图分别处理,检查多出的信息出现在哪里。只放大一次压缩很重的旧图,边缘会变大,原来丢失的细节仍然缺失。若最后需要保留一个猜测,写明这是根据哪些可见字符推出来的,提醒自己可对照哪一张原纸核查。
给回答建立能返回图上的证据
在问图的结尾,可以要求模型给出区域描述。界面里说“窗口右下角,在取消按钮左侧”。图表里说“横轴第二周,黄色线的圆点靠近九的网格”。表格里说“第三行,完成日期列”。若你的工具支持标注框,也可以把坐标或框的位置作为线索,随后自行查看框里是否真有那项证据。坐标格式应说明原点、范围和图片尺寸,免得横纵方向或像素单位弄混。自然语言地标通常比精确坐标更容易由旁人复查。
也可以给每个回答附一种确定程度。高确定性的来源是直接清楚可见的标签或文本。近似数值来自坐标或视觉插值,需要展示估读所用刻度。流程原因或使用者意图涉及推断,需要说明还缺少哪次操作或哪份资料。以模型的流畅程度判断它读没读到图,很容易被完整句子误导。按答案类型安排检查成本,能把时间用在有明显不确定性的地方。
若连续处理好几张图,提前给每张文件一个可说出的名称,并规定回答里引用哪张。比如“图一,流程入口”“图二,保存确认”“图三,反馈页面”。图像的上传顺序应该和文字中的引用一致。模型有时会把两个图里的文本合在一起,也可能用图三解释图一当前状态。让它先对每张独立列出两条观察,再做跨图比较,能够缩小错误出现的范围。写下图与图之间的时间、屏幕尺寸和所处操作,也有助于判断表面差异是否因为输入环境不同。
需要留存图像材料时,还可以准备专门用于分享的版本。截图可能有标签页标题、联系人头像、目录路径和消息弹窗。图的关键区域若不受这些内容影响,裁切或覆盖再传即可。操作路径本身必须连同菜单标题判断时,就用相同结构造一张演示截图,把内容换成容易辨认的样本。复核阶段可以仍以原图为准,记录公开材料和私下观察对应的区域,方便解释为什么图只展示了指定部分。
把三个练习变成日常用法
下一次遇到图表,第一轮只问可见标签和数据系列,第二轮请它以证据支持趋势,最后列出必须查看原表的数值。读界面时,给出你当前在哪一步、想完成什么,再请它指出能在图中定位的入口。抄笔记时,从逐行转录出发,让难辨识的区域留下标记,再加工为用于归档的形式。三类任务都能保留自己的核查办法,使用时不必从头设计问题。
做完后可以随手保存一次“图里看得见什么”和“我核对到了什么”的简短对照。例如“第三周两条线看起来接近,准确差值依原数据表”为图表留下可用范围。“导出按钮为灰色,重新填完必填项后可点击”为界面观察补上一次有明确触发条件的验证。“会议记录中第二行日期被划去,旁边重写的日期由原纸核实”为扫描转录留出依据。积累几次这样的记录后,即使换了模型或图像类型,你仍然可以从目标、可见证据和可执行的复核动作出发。