Skip to content

AI Engineering Guidebook

System Design Patterns for LLMs, RAG and Agents

作者:Akshay Pachaar、Avi Chawla(DailyDoseofDS.com)

2025 版,中文翻译整理。专有名词首次出现括注英文原文,插图为手绘风格示意图(保留英文原图)。全书 11 章 89 节,覆盖大语言模型原理、提示词工程、微调、RAG、上下文工程、AI 智能体、MCP、优化、评测、部署与可观测性。

目录

LLMs

  1. 什么是大语言模型(LLM)?
  2. 为什么需要 LLM
  3. 是什么让 LLM 变得「大」?
  4. LLM 是如何搭建出来的?
  5. 如何从零训练一个 LLM?
  6. LLM 究竟是如何工作的?
  7. LLM 生成参数的 7 个关键旋钮
  8. 4 种 LLM 文本生成策略
  9. 用一个 LLM 训练另一个 LLM 的 3 种技术
  10. 本地运行 LLM 的 4 种方式
  11. Transformer 与混合专家(MoE)在 LLM 中的对比

Prompt Engineering

  1. 什么是提示词工程?
  2. 提升 LLM 推理能力的 3 种提示词技巧
  3. 言语化采样(Verbalized Sampling)
  4. 面向 LLM 的 JSON 提示词法

Fine-tuning

  1. 什么是微调(Fine-tuning)?
  2. 传统微调方式存在的问题
  3. 5 种 LLM 微调技术
  4. 从零实现 LoRA
  5. LoRA 是如何工作的?
  6. 代码实现
  7. 生成你自己的 LLM 微调数据集(IFT)
  8. SFT 与 RFT 对比
  9. 动手实践:用 GRPO 构建一个推理 LLM
  10. 强化学习中的瓶颈
  11. 解决方案:OpenEnv 框架
  12. 智能体强化训练器(Agent Reinforcement Trainer,ART)

RAG

  1. 什么是 RAG?
  2. 什么是向量数据库?
  3. 向量数据库在 RAG 中的作用
  4. RAG 系统的工作流程
  5. RAG 的 5 种分块策略
  6. 提示词工程 vs. RAG vs. 微调,该怎么选?
  7. 8 种 RAG 架构
  8. RAG 与智能体 RAG(Agentic RAG)的对比
  9. 传统 RAG 与 HyDE 的对比
  10. 全量微调 vs. LoRA vs. RAG
  11. RAG 与 REFRAG 的对比
  12. RAG 与 CAG 的对比
  13. RAG、智能体 RAG 与 AI 记忆

Context Engineering

  1. 什么是上下文工程?
  2. 面向智能体的上下文工程
  3. AI 智能体的 6 类上下文
  4. 动手搭建一个上下文工程工作流
  5. Claude Skills 中的上下文工程
  6. 手工 RAG 流水线 vs 智能体式上下文工程

AI Agents

  1. 什么是 AI 智能体(Agent)?
  2. 智能体(Agent)、LLM 与 RAG 的区别
  3. AI 智能体(Agent)的构建要素
  4. AI 智能体(Agent)的记忆类型
  5. 记忆对智能体系统的重要性
  6. 5 种智能体设计模式
  7. 从零实现 ReAct
  8. 智能体 AI 系统的 5 个层级
  9. 30 个必须了解的智能体 AI 术语
  10. 智能体 AI 的 4 个层次
  11. 多智能体系统中的 7 种模式
  12. Agent2Agent(A2A)协议
  13. 智能体-用户交互协议(AG-UI)
  14. 智能体协议全景
  15. 用 Opik 做智能体优化
  16. AI 智能体(Agent)部署策略

MCP

  1. 什么是 MCP?
  2. 为什么会有 MCP?
  3. MCP 架构概览
  4. Tools、Resources 和 Prompts
  5. API 与 MCP 的区别
  6. MCP 与函数调用(Function Calling)的区别
  7. 6 个核心 MCP Primitive
  8. 创建 MCP Agent
  9. 常见陷阱:Tool 过载
  10. 解决方案:Server Manager
  11. 创建 MCP Client
  12. MCP Server

LLM Optimization

  1. 为什么需要优化?
  2. 模型压缩
  3. 常规 ML 推理 vs. LLM 推理
  4. LLM 中的 KV 缓存

LLM Evaluation

  1. G-Eval
  2. LLM Arena-as-a-Judge
  3. LLM 应用的多轮评测
  4. 评测基于 MCP 的 LLM 应用
  5. LLM 应用的组件级评测
  6. 对 LLM 应用做红队测试

LLM Deployment

  1. LLM 部署为何与众不同?
  2. vLLM:一款 LLM 推理引擎
  3. LitServe

LLM Observability

  1. 评估与可观测性对比
  2. 动手实现

本站内容仅供学习交流,版权归原作者所有。