告别云端！本地AI语音助手：隐私、实时、离线，人人都能做！

本地AI兴起，强调隐私和边缘计算，通过微调LLaMA 3.1 8B构建本地语音助手，关注数据、模型和集成，重视测试与MLOps，提供免费课程。

• 本地AI的回归： 边缘计算再次兴起，这次它会说话了！不再依赖云端API，而是让模型直接在你的设备上运行。
• 隐私至上： 在一个隐私被遗忘的时代，我们专注于构建尊重用户隐私的本地AI解决方案，数据完全存储在你的设备上。
• 微型、AI驱动的MVP： 我们只构建可在生产环境中本地、私密运行的微型AI应用。
• 应用场景：
  • 在边缘设备上进行开发的开发者
  • 注重隐私的移动应用
  • 需要在敏感环境（医疗、法律、内部工具）中部署应用的团队
  • 对设备端AI充满热情的研发团队
• 免费课程： 5 部分实践系列课程，教你构建自己的本地语音助手。
• 课程内容：
  • 使用 LoRA 微调 LLaMA 3.1 8B 以供本地使用
  • 创建函数调用数据集
  • 在你的笔记本电脑上使用 GGUF 本地运行推理
  • 将所有内容连接到语音输入/输出（使用 Whisper 或其他自定义模型进行语音转文本）
• MLOps的重要性： 即使是本地 AI 助手，MLOps 的原则仍然适用。模型会漂移，Prompt 工程很混乱，调试幻觉很困难，数据集需要验证。
• 开发流程：
  1. 数据准备： 构建高质量的函数调用数据集，模拟用户请求并自动验证输出。
  2. 模型微调： 使用 Unsloth 微调 LLaMA 3.1 8B，并导出为 GGUF 模型以便在边缘设备上进行推理。
  3. 系统集成： 将 Whisper 用于语音转文本，将微调后的 LLM 用于函数解析，并与实际函数连接。
• 本地AI的挑战： 离线部署模型并不意味着可以避免错误。这意味着你失去了可见性。
• 本地AI的优势： 实时运行，无需网络访问，完全控制和可观察性。
• 测试至关重要： 在多种设备上进行测试，使用测试用户（而不仅仅是朋友），并提供导出日志的方式。
• 订阅： 订阅以获取后续课程，学习如何构建本地 AI 系统。