Andrej Karpathy 深入探讨了软件开发范式的根本性转变，从传统代码 (Software 1.0) 到神经网络 (Software 2.0)，再到以自然语言提示编程的大语言模型 (LLMs) 所代表的 Software 3.0 时代。他强调 LLMs 虽拥有百科全书般的知识，但也伴随着幻觉、记忆缺陷等“认知障碍”，因此需要开发者掌握所有范式，并设计具备部分自主性、注重人机协作且面向 AI 代理的系统。

软件范式演进：从 1.0 到 3.0

• Software 1.0 (人类编写代码): 指传统的、由人类显式编写的代码，如 C++，其功能固定。
• Software 2.0 (神经网络): 通过从数据中学习权重来编程，例如图像识别网络，通常是固定功能的。
• Software 3.0 (大语言模型 LLMs): 使用自然语言（如英语）提示来“编程”LLMs，使其具备可编程性，是软件发展的最新阶段。
• 核心要求: Karpathy 强调，进入该行业的开发人员应精通所有三种编程范式，以应对不同场景的需求。

LLM 的新计算类比：公用事业、晶圆厂与操作系统

• 公用事业 (Utilities): LLMs 实验室（如 OpenAI、Anthropic）投入大量资本进行模型训练（类似于电网建设），并通过按量付费的 API 提供服务，要求低延迟、高可用性和一致质量。
• 晶圆厂 (Fabs): 训练 LLMs 需要巨额资本支出和深厚的技术树，研发秘密集中在少数实验室，类似于半导体晶圆厂的模式。
• 操作系统 (Operating Systems): LLMs 最强烈的类比是操作系统，它们管理计算和内存（例如，上下文窗口是内存），类似于 1960 年代集中式计算和分时系统，预示着未来的“个人计算革命”。

LLM 的“心理”与局限性

• “人类精神”模拟: LLMs 被视为人类的随机模拟，具备百科全书般的知识和记忆，类似于电影《雨人》中的超凡记忆力。
• 认知缺陷: 尽管拥有超强能力，LLMs 也存在显著的认知缺陷，包括：
  • 幻觉 (Hallucination): 凭空捏造信息。
  • 锯齿状智能 (Jagged Intelligence): 在某些领域超人，但在基本任务上可能犯低级错误。
  • 顺行性遗忘症 (Anterograde Amnesia): 无法原生巩固知识，每次会话上下文窗口被清除。
  • 易受骗 (Gullibility): 易受提示注入攻击。

LLM 应用的开发机遇与设计原则

• 部分自主应用 (Partial Autonomy Apps): 鼓励开发如 Cursor 和 Perplexity 这样的应用，而非直接操作 LLM。
• 关键功能: 这些应用应具备上下文管理、多 LLM 调用编排、用于审计的应用特定 GUI 以及允许用户调节 AI 介入程度的“自主性滑块”。
• 人机协作与“拴住 AI”: 有效整合 LLM 需人机相互验证（人生成，AI 验证，或反之），利用 GUI 加速视觉验证，并通过具体明确的提示和控制代码差异大小来“拴住 AI”，防止其过度反应。
• “钢铁侠战衣”类比: 建议构建“钢铁侠战衣”（增强人类能力）而非“钢铁侠机器人”（完全自主代理），强调人机协作和人机交互设计。

“Vibe Coding”与面向代理构建

• “Vibe Coding”: 以自然语言编程，极大地降低了软件开发的门槛，使非专业人士也能快速构建自定义应用（如 iOS App、Menu Genen），被视为软件开发的“入门级毒品”。
• 面向代理构建 (Building for Agents): 随着 LLMs 成为数字信息的新型消费者和处理者，未来的软件基础设施应为 AI 代理设计。
• 具体实践: 包括创建 lm.txt 文件向 LLMs 描述域名，将文档转换为 Markdown 格式以便 LLMs 理解，以及用 curl 命令取代“点击此处”等人类操作指令，以便 AI 直接执行。