: 咱们聊人工智能发展,你可能老听人提一个词儿,叫什么“苦涩的教训”。我跟你说,我第一次听,就觉得这词儿挺有意思的。你觉得这“苦涩”到底苦在哪儿呢?它想给我们这些吃瓜群众传递个啥信息?
若云: 哎呀,说起这个,好多人可能都理解错了。它这核心观点啊,听着简单,但真琢磨起来,那可太深了。它其实就想说:随着时间哗哗地往前走,那些能把计算资源用到极致,能不断“扩容”的方法,最终一定会把那些不能扩展的方法甩在身后。这可不是说咱们人类的智慧、那些经验就没用了,也不是说算力能包治百病,它说的是一个长远的趋势,一个终极的选择。
: 哇,这听着有点颠覆三观啊!我怎么觉得有点反直觉呢?你能不能给我们打个简单点的比方,来解释解释,为啥这计算能力一搞“规模化”,就变得这么牛气冲天,反倒是咱们人类的那些聪明劲儿,那些知识,有时候反而成了拖后腿的瓶颈了呢?
若云: 当然啦!你这么想啊,咱们用人类知识去解决问题,就像是给一把特别的锁,量身定制了一把那叫一个精巧的钥匙,简直跟艺术品似的。这把钥匙开这把锁,那叫一个丝滑,效率杠杠的。可问题是,这锁要是换了,哪怕是拧了半个圈儿,这钥匙立马就歇菜了,废了。但用计算能力呢,它更像是一个开锁匠。他刚开始可能有点笨手笨脚的,需要不停地试、不停地摸索。但他厉害在哪儿呢?他掌握的是一套通用的开锁绝活儿,只要你给他足够的时间,足够多的工具,他能把天底下所有的锁都给你打开。而这所谓的“时间”和“工具”,就是咱们手头不断膨胀的计算资源。
: 哦——我懂了!所以说白了,这瓶颈啊,就是“专精”和“通用”之间的巨大鸿沟呗!
若云: 说得一点儿没错!你仔细想想,未来能确定一定会像火箭一样往上蹿,大规模增长的,也就只有计算资源了。所以啊,那些真正有前途、能笑到最后的方法,肯定是那些能牢牢驾驭住这种增长的方法。但这又引出个奇怪的问题了,既然计算能力这么香,为啥这种对它的依赖,反而会让人觉得“苦涩”呢?这不应该是甜的吗?
: 我好像有点抓到重点了!原来这“苦涩”,就是因为它跟我们脑子里AI应该怎么发展的直觉,完全不是一回事儿啊!那你说说,这种“打脸”的苦涩教训,在AI发展史上是不是经常上演啊?有没有什么经典案例?
若云: 哎,说到这个,咱们就拿一个特有意思的例子来说,就是手机上那个文本自动补全功能。你想想啊,1995年那会儿,你要是想搞一个这玩意儿,纯粹想预测下一个词,那简直是天方夜谭,你必须得一笔一划地写下各种语法规则,跟写天书似的。到了2005年,N-gram模型开始流行,这算是有点统计学的味道了。而咱们现在耳熟能详的深度学习,那得到2010年代中期才算真正冒头,自监督学习更是到了2010年代末期才大放异彩。你就会发现一个规律,在每个阶段,那些加入了人类智慧、纯手工打造的方案,一开始总是能像坐火箭一样,迅速占领高地,看起来简直是香得流油,让人忍不住想冲上去抱住它!
: 那我就好奇了,既然这些融入了人类知识的方法,一开始看着这么香,为啥它们最终都会走向死胡同,把自己给堵死了呢?它们的软肋到底在哪儿啊?
若云: 核心问题就出在它们的“可扩展性”上。你想啊,把人类知识往里灌,那可就意味着得写一大堆规则、做各种特征工程,这在处理某个特定小问题的时候,可能确实高效得要命。但一旦问题规模大了,或者你需要把它用到一个全新的领域时,这些方法立马就露馅儿了,手忙脚脚乱的,根本玩不转。它就像我们刚才说的那个精巧的锁和钥匙,只能开一把锁。而那些基于海量计算和深度学习的方法呢,它就像一把“万能钥匙”,它能尝试无数种可能,最终给你找到一个放之四海而皆准的普适规律。
: 嗯,你这么一说,这短期和长期的矛盾确实太明显了。既然这样,那有没有那种特别“打脸”的经典案例,能让我们直观感受一下,计算能力是怎么把那些人类知识主导的方法,最后给远远地甩在身后的呢?
若云: 那必须有啊!说到AI这块儿,咱们根本绕不过去国际象棋和围棋这两个老生常谈的例子。你看国际象棋的那个“深蓝”,1997年把人类棋王卡斯帕罗夫都给干掉了,那叫一个威风。它当然强大,但它骨子里啊,融合了人类国际象棋专家们呕心沥血设计的8000多个,跟绣花似的,一个一个精心设计的特征。这本质上就是“强大算力”加上“人类专家知识”的强强联合。但它有个致命伤,就是这套方法你让它去下围棋,它立马就傻眼了,抓瞎,因为你得重新找一群围棋专家,再给你设计一套全新的特征。
: 那后来横空出世的AlphaGo Zero呢?它跟“深蓝”有什么不一样的地方吗?
若云: AlphaGo Zero那可真是走得更远,也更“纯粹”,简直是纯粹得一塌糊涂。它直接把人类几千年的棋谱都扔进了垃圾桶,完全不看!它就是纯粹通过自己跟自己下棋,加上海量的计算,疯狂地学习。最后呢,它把所有那些基于蒙特卡罗树搜索啊、启发式函数啊,甚至包括人工决策树的围棋程序,统统都给干趴下了,连它自己的前辈也没放过。这才是真正的“苦涩”所在——一个完全不依赖咱们人类任何先验知识的系统,就靠着纯粹的计算和学习,达到了一个让人目瞪口呆,甚至有点毛骨悚然的高度。
: 哇,AlphaGo Zero这么一搞,是不是就等于告诉我们,未来AI就得彻底跟人类知识说拜拜,只管可劲儿地堆算力就行了?
若云: 哎呀,这可真是这个教训最大的“坑”了,太多人在这儿栽跟头。强化学习的那个老神仙,Rich Sutton,他就总结了四点,简直是句句扎心。他说啊:第一,AI研究者老是想把自己的那些看家本领、那些知识,一股脑儿地塞到模型里去;第二,短期来看,嘿,这招还真管用,效果立竿见影;第三,但长期一拉,这玩意儿就是个绊脚石,会把进步彻底给堵死,让你原地踏步;第四,真正的突破,最终总是来自那些大规模的计算。这简直就是把咱们人类最喜欢的那种,觉得特聪明、特巧妙的解决方案,给彻底掀了个底朝天!
: 你这么一说,这历史惯性确实是细思极恐啊。那除了技术上的那些弯弯绕,是不是还有些更深层次的、比如组织文化啊、人心深处的那些原因,让大家伙儿对这个“苦涩的教训”就是不乐意接受呢?
若云: 那可真是太有了!谷歌大脑之前有个研究员叫Brian Lee,他那解释简直是绝了,听完你得拍大腿。他说啊,这种思维模式的转变,通常得花个十年左右。为啥呢?因为在这十年里,博士生们都毕业了,他们的职业生涯也稳定了,学术圈儿的那些升职标准都定型了,整个研究氛围都凝固住了,组织架构也板上钉钉了。他甚至开玩笑说,科学进步啊,有时候就得等到老一辈科学家们都“退休”了,新的想法才能真正冒出头来。听着有点扎心,但想想还真有点道理。这背后啊,是那种沉甸甸的组织惯性,还有压得人喘不过气的短期绩效压力。
: 那咱们就代入一下,如果你是一个大语言模型实验室的研究员,他们面临的短期压力具体会遇到啥坑?为啥明知道长远的路子是对的,却还是忍不住往短期诱惑那儿跑呢?
若云: 你这么一想就明白了。你就想象一下,你是一个研究员,你的饭碗、你的绩效,都跟模型在某个公开排行榜上的分数死死地绑在一起。你必须得在短时间内把分数给搞上去,不然你就会在同行里掉队,甚至直接影响你的职业生涯,前途都堪忧。在这种火烧眉毛的情况下,最简单粗暴、最立竿见影的办法,就是赶紧往模型里塞点儿“人类知识”,比如专门针对这个测试集,把数据给它洗得干干净净,再优化优化。嘿,这分数立马就能蹭蹭蹭往上涨,领导看了高兴,你自己也松口气。
: 那反过来,要是咱们老老实实地去提升模型的通用能力,比如从底层去改进模型架构,虽然明知道这才是长远之道,但短期内可能根本看不到什么水花,甚至可能还不如那些“小聪明”呢。
若云: 说得一点不差!那种真正能提升通用能力的方法,比如在训练和测试阶段可劲儿地增加算力,用海量的合成数据去训练,或者搞什么混合专家模型,虽然从长远来看,这绝对是更优解,但在实际的日常工作中,在现实的KPI面前,这些方法简直就是“奢侈品”和“异想天开”,根本玩不起。这种残酷的现实矛盾,就是“苦涩”的深层原因,它让你明知道对的,却做不到。
: 听你这么说,这短期诱惑和组织惯性简直是座大山啊,太难逾越了!那在现在AI这么卷的领域,特别是大语言模型这块儿,有没有那种真正“清醒”的实践者,他们就老老实实地遵循了“苦涩的教训”,然后还因此搞出了大动静的?
若云: 还真有那么一些“孤勇者”!尽管他们也面临着巨大的短期KPI压力,但真正的前沿领导者,比如像DeepSeek这样的机构,他们就选择了那条更难走,但绝对更正确的路。他们持续地把模型扩展到了一个天文数字般的算力,3.8后面跟了25个零,简直是丧心病狂!他们就死磕着整体提升模型的通用能力,比如在测试阶段可劲儿地增加算力,利用合成数据进行海量训练,还有用什么混合专家模型(MoE)等等。这些都是那种,你只要给它喂更多的计算能力,它就能持续不断地给你带来惊喜的策略。
: 这种死磕通用能力的劲头儿,跟咱们一开始聊的那个“苦涩的教训”,它俩到底有什么更深层次的瓜葛?它怎么就能保证AI能一直往前跑,不会被什么东西给卡住脖子呢?
若云: 你这么想啊,如果说短期的那些优化,就像是在一个精心打理的漂亮小花园里,给花花草草修修剪剪,让它眼前一亮。那么提升通用能力呢,它就像是费老鼻子劲儿,去建造一个能够适应各种极端气候、能自我生长的庞大生态系统。它可能刚开始投入巨大,见效也没那么快,甚至会让你等得花儿都谢了。但一旦这个系统建成了,它的生命力、它的自我扩展能力,那是前面那个小花园完全无法比拟的,简直是小巫见大巫,完全不是一个量级的!这,就是“苦涩的教训”在咱们这个时代的最新、最活生生的体现啊。
: 哇,这么一听,这个“苦涩的教训”可不只是给AI发展史做个总结这么简单啊。它简直就是一盏明灯,指引着我们AI未来该往哪儿走。那咱们理解了这一切,接下来该怎么看AI的未来呢?是该乐观还是谨慎?
若云: 我觉得吧,它其实是在提醒咱们,真正的智慧,有时候并不在于我们能往里塞多少现成的知识,而在于我们能不能放下咱们人类那些根深蒂固的执念和所谓的“小聪明”,去拥抱那些看着有点冷冰冰,甚至有点不近人情,但潜力却是无限的、能不断“滚雪球”扩张的力量。说到底,AI的这波发展,可能就是在苦口婆心地告诉我们一个虽然听着有点“苦涩”,但却是金玉良言的道理:算力,只有算力,它可能才是那条真正通往未来,能让你走得更远更稳的长远大道啊!