你肯定遇到过这种场面:跟 AI 聊一个方案,聊得热火朝天,几十个回合之后,它突然把你一开始定好的要求,忘得一干二净。还有更气人的:昨天你们聊得那么投机,今天你新开一个对话打招呼,它一脸陌生地问:您好,有什么可以帮您?

可能颠覆你认知的事实是:AI 不是忘了你说的话——它从头到尾,就没有记住过任何东西。

失忆天才与那块白板

想象一下,你们公司来了一位新同事。这人是个不折不扣的天才:写文案、写代码、做翻译、做分析,样样顶尖。但他有个奇怪的毛病:完全没有记忆。不是记性差,是彻底没有。上午开会跟他定好的事,下午他一片空白;你转身去倒杯水,回来,他已经不认识你了。

那他怎么干活?公司给他配了一块白板。规矩是这样的:谁找他办事,都得把事情的来龙去脉,原原本本写在白板上。他动手之前,会把白板从第一个字读到最后一个字,然后,就凭白板上的这些信息,给你一个天才水准的答案。答完,脑子瞬间清零。

这位失忆天才,就是大模型本人。而那块白板,就是我们今天的主角:上下文窗口(Context Window)。

上下文、窗口、对话历史

白板上写着的全部内容,行话叫上下文(Context)。而窗口,说的就是这块白板的面积:它是有限的,写满了,就是写满了。

你可能不服:不对啊,我跟 AI 聊天,它明明记得前面聊过什么,一来一回顺畅得很,哪像个失忆的?这正是整场魔术的机关。你每发一条新消息,系统都在后台,把你们俩从第一句话开始的全部聊天记录,加上你刚发的这条,整个重新抄一遍,抄上白板,递给那位失忆天才。这份被反复抄写的聊天记录,行话叫对话历史

你以为你们在连续对话,其实每一轮,他都在飞速重读你们认识以来的全部聊天记录。所谓的记性好,是一轮一轮重新抄写出来的幻觉。

白板装满了会怎样:截断

为什么聊久了 AI 会忘事?因为白板写满了。对话历史越抄越长,总有一刻,白板装不下。装不下怎么办?系统的办法简单粗暴:把最早的内容擦掉,给新内容腾地方。这个动作,行话叫截断(Truncation)。

你开头定的那条要求,就是这么被擦掉的。注意,它不是想不起来了——是那句话压根没出现在这一轮的白板上。对这位失忆天才来说,那句话从未存在过。

还有一个细节:在你说第一句话之前,白板顶上就已经预先印好了一段话,比如你是一个乐于助人的助手,今天的日期是几月几号——这段出厂预装的说明,叫系统提示词。它也占白板的地方,所以你那块白板,从一开始就不是完整属于你的。

白板有多大:Token 与军备竞赛

白板的大小,是用 Token(铅字块)的数量来计量的。AI 看到的不是字,是被切碎的铅字块。几年前,最先进的模型白板大概只装得下两千来个铅字块,约等于一两页纸,聊不了几个回合就满了。

而到了今天,主流模型的白板已经做到了上百万个铅字块的量级,一口气塞进去几本长篇小说都没问题;最激进的,甚至号称做到了上千万。短短几年,白板从一张纸,膨胀成了一整面墙。

白板大,不等于每个角落都看得清

那为什么不干脆做一块无限大的白板?两个坎绕不过去。

  • 第一个坎:贵。白板上的每一个铅字块,都要跟其他所有铅字块两两对一遍眼神,互相确认关系。白板的长度只要翻一倍,对眼神的工作量大约就要翻四倍。白板越大,读得越慢,收费也越贵。
  • 第二个坎:看不清。斯坦福大学的研究团队做过一个实验:把一条关键信息分别藏在长上下文的不同位置,看模型能不能找到。结果:放在开头找得到,放在结尾也找得到,可一旦藏在中间,准确率就明显往下掉。研究者给这个现象起了个形象的名字,叫迷失在中间,圈子里也常拿大海捞针来称呼这类测试。

像不像你自己读一份超长的文件?开头看得认真,结尾记得清楚,中间,基本靠扫。所以记住这句话:窗口再大,也别把它当保险箱使。

四个普通人使不出来的招式

  • 第一招:重要的要求,隔一阵就重说一遍。你每重复一次,它就被重新抄到白板上最新、最显眼的位置。你以为是唠叨,其实是置顶。
  • 第二招:聊歪了就开新白板。让 AI 把目前的结论总结成几句话,你拎着这份总结开一块新白板,重新开始。该翻篇,就翻篇。
  • 第三招:喂长文档时,把最关键的内容放开头或结尾,别埋中间。中间是它的视觉盲区。
  • 第四招:别指望它跨对话记得你。新对话的开头,主动把背景交代清楚。它不是老朋友,是每次见面都需要你重新自我介绍的天才。

上下文工程:AI 时代正在崛起的新手艺

这四招背后是同一门正在崛起的手艺:琢磨该让 AI 看见什么、不看见什么、按什么顺序看见。这门手艺,现在有了正式的名字,叫上下文工程(Context Engineering)。

前几年大家还在聊提示词工程,琢磨怎么把问题问得巧;这两年,硅谷的顶尖工程师们已经把重心挪到了上下文工程上:与其琢磨怎么问,不如琢磨让它看见什么。一句话总结:提示词决定它怎么干活,上下文决定它知道多少。

像 Claude Code 这类 AI 编程工具,干的核心事情之一,其实就是自动帮你经营白板——该读哪个文件、该带上哪段资料、该擦掉哪些废话,它都替你安排得明明白白。你越懂白板的规矩,就越能看懂这些工具,到底强在哪里。

AI 时代,不是什么都得自己学会做。你需要学会的,是指挥专家。而指挥这位失忆天才的全部秘诀,从头到尾就一条:经营好那块白板。

所以,下次 AI 再忘事,你大概不会再拍桌子了。你会眯起眼睛,像个老练的管理者一样想:嗯,白板满了,该擦的擦了,该置顶的没置顶——这是我的调度问题,不是它的态度问题。


📺 更多元知识视频,搜索 Wiki4What | 🌐 blog.wiki4what.com