原野: 咱们是不是老听见“提示工程”这词儿啊?感觉好像掌握了它,就能把AI玩儿得溜溜转。可最近啊,圈子里突然冒出来一种声音,说这Prompt工程,格局小了,甚至要“凉凉”了。你怎么看这事儿啊?
晓曼: 可不是嘛!这话题现在在AI圈儿里简直是热火朝天。以前咱们都觉得,哎,只要我问题问得够刁钻,AI就得给我个完美答案。结果呢,现在连Shopify的CEO啊,还有特斯拉那边的AI大佬,甚至OpenAI的大神卡帕西都出来说了,未来真正牛X的,根本不是什么“提示工程”,而是一个听起来更高级的词儿——“上下文工程”。
原野: “上下文工程”?哎呦喂,这名字一听就比“提示工程”高大上不少啊。那它到底是个啥玩意儿?为啥这些个大佬们都拍着胸脯说,这才是决定未来AI应用,特别是AI Agent能不能玩儿转的关键呢?
晓曼: 简单点说啊,提示工程呢,就像是你手把手教AI“怎么开口说话”,而上下文工程呢,它厉害了,它是在搭一个大系统,告诉AI“它到底该知道些啥”。咱们是不是都有过那种“皱眉头”的时刻?就是你对着屏幕,冥思苦想,写出来一段自以为是“天衣无缝”的提示词,满心期待AI能给你个惊艳的回复,结果呢?它就给你甩回来一个冰冷冷的、机械感十足的答案,感觉就像,哎呀,没灵魂!
原野: 哎呀,你这话简直说到我心坎儿里去了!这体验,太真实了!就好像你找个好朋友帮忙,你把事情掰开了揉碎了,说得一清二楚,结果呢,他完全没get到你的那个点,给出的建议跟你南辕北辙。这背后,到底是个啥道理啊?
晓曼: 嘿,这就要说到大模型一个挺要命的限制了。我们可以把它想象成一个拥有超强大脑,能算得飞快,但“工作记忆”却少得可怜的家伙。它一次能塞进脑子里的信息,就那么一丁点儿。你那个所谓的“完美提示词”,哎,就像只给了它一句干巴巴的口令,它没有前因后果,没有上下文,更没有相关的“知识储备”,那它能给你的,自然也就是个干巴巴的、碰运气似的通用回复呗。
原野: 哦——我明白了!所以不是这模型不够聪明,而是我们给它那个“小脑瓜”里装的东西太少了,喂不饱它啊。那这个“上下文工程”,它到底有啥魔力,能把这个短板给补上呢?它具体是干嘛的啊?
晓曼: Bingo!这就是咱们今天要说的重头戏了。“上下文工程”啊,它可不是说你把提示词写得再长一点就完事儿了,它压根儿就是一门“系统工程”!它的核心玩法呢,就是设计和搭建一个能“活”起来的系统,目的就是要在AI干活儿的时候,在对的时间点,用对的姿势,把完成任务所有需要的信息和工具,不多不少,刚刚好地送到它面前。
原野: 哎呦,听你这么一说,感觉有点儿烧脑啊!你刚才提了好几个词儿,什么“系统而非字符串”、“动态生成”、“信息和工具刚刚好”,还有那句“格式也很关键”。这些个词儿,能给我们展开讲讲,到底是个什么意思不?
晓曼: 成,咱们一个一个来把它“拆解”开。首先啊,“系统而非字符串”,意思就是它不是死板的一段文字,而是一个能“活”起来、自动跑起来的“信息输送管道”。其次呢,“动态按需生成”,这个就更妙了,它说的是这个系统会根据AI任务的进展,实时地调整给它看的上下文。打个比方,AI刚接任务,你先给它个大方向;等它要查数据了,再把数据库的“钥匙”递给它。第三个,“信息与工具刚刚好”,这个很重要,就是要避免信息“撑”着它,因为有研究发现,你给模型太多没用的信息,反而会把它搞糊涂,这就是所谓的“上下文旋转”,或者说,让它在“大海捞针”。最后啊,“格式也很关键”,这个就是要把信息用AI能“秒懂”的结构化方式,比如JSON这种,直接“喂”给它,而不是让它在一堆乱七八糟的文字里自己去“蒙”。
原野: 哎呦,你这么一说,我这下彻底明白了!这简直就是AI的“大后方”啊,一个专业的“后勤保障部”,确保它前线的那个“大脑”,总能拿到最精准、最及时的情报和装备,随时火力全开!那一个完整的,能让AI表现得像“神仙”一样的上下文,它具体都包括哪些部分呢?
晓曼: 嗯,一个真正顶级的上下文,它通常会有七个核心的“零件”。第一个是“系统指令”,就是给AI定个位,告诉它你是个啥角色,总目标是啥。第二个是“用户提示”,这个不用说,就是咱们给它的具体任务。第三个是“短期记忆”,也就是它跟你的“聊天记录”。第四个是“长期记忆”,比如你这个人的喜好啊、习惯啊,这些都得它记着。第五个是“检索信息”,这个就厉害了,通过RAG技术,它能实时地从外面的“知识宝库”里翻资料。第六个是“可用工具”,就像给它配了一堆“趁手的家伙”,比如查日历、算账、看天气,这些API接口。最后啊,就是“结构化输出格式”,说白了,就是你希望AI把结果用啥样儿的“包装”给你送回来。
原野: 哇,这七个部分一听,简直就是给AI配齐了一个“哆啦A梦的百宝袋”啊,一个全能助理的工具箱!那咱们回过头来,聊聊开头那个邮件的例子,一个普通的AI可能就只会干巴巴地回一句“我明天有空”,但一个有了丰富上下文的AI,却能给你回一句“我查了日程,明天满了,周四上午可以吗?我已经发了会议邀请”。这七个“零件”,在那个场景里,它是怎么“合力”发挥作用的呢?
晓曼: 这个例子啊,简直是教科书级别的!首先呢,那个“系统指令”就给AI定了个调儿:“你是个超高效的私人助理!”然后“用户提示”就是:“帮我回复Jim的邮件。”AI会立马翻看“短期记忆”,看到你和Jim的邮件来往。接着,它就动用“可用工具”,一键调用你的日历API,“哎呀,明天排得满满当当!”它可能还会通过RAG或者“长期记忆”,查到Jim是你一个特别重要的合作伙伴,所以回复可不能太“硬邦邦”。最后,它把所有这些信息一股脑儿地整合起来,就生成了那个既高效又暖心的回复,而且还按照“结构化输出”的要求,顺手给你发了个日历邀请。你看,这压根儿就不是模型自己变聪明了,而是咱们给它搭的这个“上下文”,让它瞬间变得“无所不知”,简直跟开了挂一样!
原野: 哦——原来是这样!不过啊,对于“上下文工程”这个新概念,我听说圈子里也有一些不一样的声音,有人就觉得,这不就是“老瓶装新酒”嘛?甚至还有人开玩笑说,这简直就是“AI巫术”,神神叨叨的。
晓曼: 没错,这争议还真不小。那些“批评家”就说了,你管它叫Prompt也好,叫Context也罢,对于大模型来说,它吃进去的,就是一长串的token序列,它根本分不清哪个是指令,哪个是它自己去“扒拉”来的信息。所以啊,从这个角度看,所谓的“上下文工程”,不就是把一个超大的提示词给“拆零碎”了嘛,还是提示工程的底子,确实有点儿“玄学”的味道。
原野: 嗯,你这么一说,这种观点听起来也挺有那么回事儿。那那些“拥护者”们,尤其是那些在第一线吭哧吭哧搞AI Agent产品的团队,他们又是怎么“回怼”这种说法的呢?
晓曼: 哎,要我说啊,那些一线“实战派”的感受才是最接地气的。他们就说了,虽然对模型来说都是token,但“怎么把这一串token,系统化、自动化、规模化地给它喂进去”,这才是真正的技术难点,也是能撬动大局的关键。有个比喻说得特别形象:“提示词是你对AI说声‘你好’,而上下文呢,是把你的整个人生故事都给AI讲了一遍!”对于那些复杂的Agent应用来说,上下文的设计和管理,简直就是整个系统的“骨架”啊。这玩意儿,早就不是以前那种“炼丹”式的玄学小技巧了,它已经实打实地变成了一门正儿八经的工程学科!
原野: 嗯,你这么一说,我这下彻底懂了。这就像是以前的手工作坊,和现在的大型现代化工厂的区别,虽然最终都“出产品”,但背后的理念、流程和规模,那压根儿就不是一个档次!那照这个趋势来看,咱们是不是可以大胆地说,那种专门钻研“提示词魔法”的时代,是不是正在悄悄地落幕了?
晓曼: 我觉得啊,八九不离十了。你想想,RAG、Agent框架这些技术现在越来越普及,以后啊,咱们这些搞开发的,会越来越依赖那些工具和系统,去自动地构建和管理上下文,而不是自己在那儿一个字一个字地“抠”那些越来越复杂的提示词。而且啊,虽然现在模型的“脑容量”越来越大了,能塞进去的上下文也更多了,但这也带来了新的烦恼,就像咱们刚才说的那个“上下文旋转”,模型在处理海量信息的时候,它也会“开小差”的。
原野: 嗯,这确实是个不小的挑战啊。原来还以为信息越多越好呢,结果发现不是那么回事儿。那如何把这些海量的上下文,进行有效的管理、组织和“瘦身”,听起来就像是“上下文工程”这个领域里,又一个深不见底的技术“大坑”啊。
晓曼: 说得太对了!所以未来AI应用真正的“杀手锏”,可能就不再是谁能把问题问得最“奇葩”、最“刁钻”了。这么一琢磨啊,过去咱们老是纠结怎么问问题,也就是那个所谓的提示工程,现在看来,那个眼界确实有点儿窄了。真正能决定AI到底能有多“逆天”的,其实是我们能给它搭一个多棒的信息“温室”,也就是咱们今天从头聊到尾的“上下文工程”啊。
原野: 这话简直说到点子上了!从一个简单的“口令”,到现在这种系统化的上下文构建,咱们跟AI打交道的方式啊,确实在经历一场彻头彻尾的“大变身”。这背后啊,其实指向了一个更深层次的问题:咱们人类到底要怎么样,才能更高效、更聪明地,把自己的想法、脑子里的知识,还有手头的工具,用一种AI能彻彻底底“吃透”的方式,传递给它呢?