大模型炼金术：Prompt优化与向量检索，解锁AI落地新姿势
大模型应用需优化模型和提示词，提示词工程至关重要。向量检索通过embedding提升检索效果，是LLM应用核心技术之一，可精炼Prompt并提高输出质量。
-
核心问题： 如何让大模型完成具体领域场景的实际工作，并提升效果？
-
影响因素及干预：
- 模型 (内在)： 知识和能力的混合体，可通过 Fine-tune (微调) 优化模型权重。缺点是训练成本高，知识更新慢，黑盒难控制。
- 提示词 (Prompt) (外在)： 知识和指令的混合体，Prompt Engineering 很重要。Prompt 灵活透明，但受限于模型性能和 Token 限制。可通过 In-context learning (Prompt Learning) 优化输入。
-
对比：
| 调优方法 | 优势 | 缺点 |
|---|---|---|
| 提示词优化 | 提升效果明显，成本极低 | 占用 Token 多，影响上下文关联长度 |
| Embedding | 扩展 GPT 知识，调优成本较低 | GPT 并非真理解相关内容，而是基于知识库回答 |
| Fine-tune | 搭建私有模型，GPT 能理解相关问题 | 成本高，需大量问答对，训练消耗 Token |
-
Prompt 工程的重要性： 提示词具备成本和灵活性优势，随着 Token 数量增长和 Prompt 压缩方案的提出，Prompt 层面的工作将是工程化方案的重要内容。
-
工程改进： 如何让大模型在海量文章中总结回答，解决 Token 限制和响应时间过长的问题？
-
解决方案： 对 Prompt 进行压缩提炼，引入检索流程（粗筛召回），减少候选范围。
-
增加检索流程的三大作用：
- 精炼 Prompt
- 提高可信度
- 提高模型输出质量
-
向量检索的原因： 为了获得更好的检索效果，提高相关性。通过 Embedding 将问题映射到新维度，更准确表达关系（类似傅里叶变换）。
-
向量检索的优势： 基于内容 Embedding，编码时考虑相关性，基于语义检索，召回效果更好。是面向语义检索发展的必然趋势。
-
LLM 应用核心技术：
- Embedding & Tokenization
- 向量数据库 (VectorDB)
- Fine-tune
- Prompt
- 模型部署与推理 (Deploy & Inference)
- 编排集成
- 预训练