Apoorva Joshi：多模态AI Agent实战，打通图文信息壁垒

MongoDB专家Apoorva Joshi分享了从零构建多模态AI Agent的完整过程，重点阐述了AI Agent的核心概念、与传统LLM和REG的区别、其核心组件以及处理混合媒体内容（特别是图文混排文档）的挑战与解决方案。通过使用MongoDB作为向量数据库和Google Gemini进行多模态推理，该分享深入探讨了VLM架构如何有效弥合模态鸿沟，并展示了多模态AI Agent的实际工作流程及未来应用潜力。

AI Agent核心概念与构成

• AI Agent定义与工作原理：利用大语言模型（LLM）作为核心思考和推理系统，分析问题、理解意图、拆解任务、制定计划，并通过反馈机制进行自我调整。
• 核心组件：由感知（理解外部输入）、规划与推理（LLM主导）、工具（与外部世界互动）和记忆（存储和回忆信息）构成。
• 规划模式：包括无反馈规划（COT）和有反馈规划（REACT），其中REACT通过动态调整策略适应任务执行。

AI Agent的独特优势与应用场景

• 与LLM、REG的区别：AI Agent拥有自主规划和行动能力，能通过调用工具与现实世界交互，处理复杂动态任务，并具备反思和自我修正能力，超越了简单提问和减式增强生成（REG）的局限。
• 复杂任务应用：适用于个性化旅行规划、模拟科学实验设计、后台数据分析、创意性工作及需要长期个性化服务的任务。
• 使用考量：需权衡成本、延迟及非确定性输出等现实问题，在任务复杂、对延迟容忍度高或需要长期个性化服务时优先考虑。

多模态AI模型与混合文档处理挑战

• 多模态AI模型：旨在处理和理解不同类型输入数据（文本、图像、音频、视频），生成跨模态输出，包括多模态潜入模型和多模态大语言模型（MLM）。
• 混合模态文档处理挑战：处理包含文本、图像和图表的大型文档语料库时，传统方法存在信息丢失、模型集成难度大、模态鸿沟（不同模态数据在向量空间中距离过远）和上下文丢失等问题。
• 对象识别与多模态嵌入局限：尽管通过多模态嵌入模型处理文本块、图像和表格有所改进，但仍依赖复杂元素提取，且面临模态鸿沟问题。

VLM架构：弥合模态鸿沟的关键

• VLM（视觉语言模型）优势：使用同一个编码器同时处理文本和视觉特征，有效弥合模态鸿沟，确保文本和视觉信息在向量空间中靠近。
• 简化处理流程：将文档页面截图后，输入VLM模型生成统一嵌入向量，存储到MongoDB等向量数据库中进行检索，节省预处理时间并保留原始图文空间布局。
• 具体应用：Voyage AI模型作为VLM架构的多模态嵌入模型示例，展示了其在处理图文混合文档上的高效性。

多模态AI Agent工作流程与未来展望

• 工作流解析：用户问题由代理转发给多模态LLM，LLM调用向量搜索工具获取相关截图，代理执行搜索并加载截图，所有信息提交LLM推理生成答案，最终返回并更新短期记忆。
• 短期记忆机制：通过会话ID组织和存储对话历史，确保多轮对话的连贯性。
• 未来展望：多模态AI Agent在科研、金融、医疗等领域具有巨大潜力，预示着AI技术将实现更多突破。