从零开始构建 AI 工程：打造生产级 LLM 系统——2026 完整指南

# 克隆仓库
curl -sL "https://github.com/rohitg00/ai-engineering-from-scratch/archive/refs/heads/main.zip" -o /tmp/ai-eng.zip
unzip -q /tmp/ai-eng.zip -d /tmp
ls /tmp/ai-engineering-from-scratch-main/

# 查看模块结构
find /tmp/ai-engineering-from-scratch-main -name "*.py" | head -20

# 典型的模块结构
module-name/
├── README.md          # 理论和目标
├── notebook.ipynb     # 交互式探索
├── src/               # 生产就绪代码
│   ├── model.py       # 模型架构
│   ├── train.py       # 训练循环
│   └── deploy.py      # 服务化代码
└── tests/             # 单元测试和集成测试

# 克隆仓库
git clone https://github.com/rohitg00/ai-engineering-from-scratch.git
cd ai-engineering-from-scratch

# 创建虚拟环境
python3 -m venv venv
source venv/bin/activate

# 安装依赖
pip install -r requirements.txt

# 验证安装
python3 -c "import torch; print(f'PyTorch {torch.__version__}')"
python3 -c "import transformers; print(f'Transformers {transformers.__version__}')"

# 检查 CUDA 可用性
python3 -c "import torch; print(f'CUDA: {torch.cuda.is_available()}')"

# 安装 CUDA 版 PyTorch（如需要）
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

# 强制 CPU 模式
export CUDA_VISIBLE_DEVICES=""
python3 src/train.py --device cpu

# 示例：使用 LoRA 微调模型并用 vLLM 部署
# 第一步：微调（模块 4）
python3 src/fine_tune.py --model meta-llama/Llama-3.1-8B --lora_rank 16

# 第二步：导出 LoRA 适配器
python3 src/export_lora.py --adapter ./lora_adapter --output ./lora_adapter_merged

# 第三步：用 vLLM 提供服务
pip install vllm
python3 -m vllm.entrypoints.api_server \
  --model ./lora_adapter_merged \
  --port 8000

# 示例：从零实现的注意力机制
# 这是学生在模块 3 中要实现的代码
import torch
import torch.nn.functional as F

def attention_from_scratch(Q, K, V, mask=None):
    """从数学定义实现的注意力机制。"""
    d_k = Q.size(-1)
    
    # 缩放点积注意力
    scores = torch.matmul(Q, K.transpose(-2, -1)) / (d_k ** 0.5)
    
    if mask is not None:
        scores = scores.masked_fill(mask == 0, -1e9)
    
    attention_weights = F.softmax(scores, dim=-1)
    output = torch.matmul(attention_weights, V)
    
    return output, attention_weights

# 使用 4 位量化的 QLoRA
python3 src/qlora_train.py \
  --model meta-llama/Llama-3.1-8B \
  --bits 4 \
  --lora_rank 32 \
  --lora_alpha 64 \
  --dataset custom_dataset.jsonl \
  --epochs 3 \
  --batch_size 4

# 第一阶段：用最优尺寸分块文档
from rag_pipeline import DocumentChunker

chunker = DocumentChunker(chunk_size=512, overlap=50, strategy="semantic")
chunks = chunker.process("large_document.txt")

# 第二阶段：用专用模型嵌入
from embedding_models import get_embedding_model

embedder = get_embedding_model("text-embedding-3-large")
vectors = embedder.encode(chunks)

# 第三阶段：混合搜索索引
from vector_index import HybridIndex

index = HybridIndex(dim=3072, index_type="hnsw")
index.build(vectors, chunks)

# 第四阶段：查询重排序
from reranker import CrossEncoderReranker

reranker = CrossEncoderReranker("ms-marco-MiniLM-L-12-v2")
results = index.search("your query here", top_k=20)
reranked = reranker.rank("your query here", results)

# 使用 DeepSpeed 进行多 GPU 训练
pip install deepspeed

deepspeed --num_gpus=4 src/train.py \
  --model meta-llama/Llama-3.1-70B \
  --batch_size 16 \
  --gradient_accumulation_steps 8 \
  --learning_rate 1e-5 \
  --epochs 3

# 用 TensorBoard 监控训练
tensorboard --logdir ./runs/

# FSDP（全分片数据并行）配置
from torch.distributed.fsdp import FullyShardedDataParallel as FSDP
from torch.distributed.fsdp.wrap import size_based_auto_wrap_policy

policy = size_based_auto_wrap_policy(min_params=1e8)
model = FSDP(model, auto_wrap_policy=policy, cpu_offload=Offload(cpu=True))

# 自动化评估流水线
from eval_framework import Evaluator

evaluator = Evaluator(
    metrics=["bleu", "rouge", "exact_match", "semantic_similarity"],
    reference_corpus="golden_test_set.jsonl"
)

results = evaluator.evaluate(
    model=model,
    test_set="evaluation_data.jsonl",
    batch_size=32
)

# 导出结果
results.to_csv("evaluation_results.csv")
results.plot_confusion_matrix()

# 实现持久化 Agent 记忆
from agent_memory import EpisodicMemory, SemanticMemory

episodic = EpisodicMemory(max_capacity=1000)
semantic = SemanticMemory(embedding_dim=768)

# 存储交互记录
episodic.store(action="query", result="answer", timestamp="2026-06-15")

# 检索相关记忆
relevant = episodic.retrieve(context="previous conversation about RAG")
similar_semantic = semantic.query("RAG optimization", top_k=5)

# 快速评估：这是否适合你？
# ✅ 你懂 Python 基础 → 适合
# ✅ 你想理解 AI 内部原理 → 适合
# ✅ 你想构建生产级 AI 系统 → 适合
# ✅ 你是编程完全新手 → 不适合（先从 Python 基础开始）
# ✅ 你只需要调用 API 而不需要构建模型 → 考虑其他替代方案

git clone https://github.com/rohitg00/ai-engineering-from-scratch.git
cd ai-engineering-from-scratch
pip install -r requirements.txt