LlamaFile — 用单个可执行文件在本地运行大语言模型

# 传统 LLM 设置（复杂）
pip install torch transformers accelerate bitsandbytes
git clone https://github.com/meta-llama/llama
python -m llama.generate --model meta-llama/Llama-3.2-8B
# 需要：30GB 磁盘、16GB RAM、NVIDIA GPU、CUDA 12.x

# LlamaFile 设置（简单）
wget https://huggingface.co/jartine/llamafile/resolve/main/llama-3.2-8b-instruct.Q4_K_M.llamafile
chmod +x llama-3.2-8b-instruct.Q4_K_M.llamafile
./llama-3.2-8b-instruct.Q4_K_M.llamafile --server
# 完成。适用于 CPU、macOS、Linux、Windows。

# 方法 1：从 HuggingFace 下载
wget https://huggingface.co/jartine/llamafile/resolve/main/llama-3.2-8b-instruct.Q4_K_M.llamafile
chmod +x llama-3.2-8b-instruct.Q4_K_M.llamafile

# 方法 2：使用 curl
curl -L -o llamafile https://huggingface.co/jartine/llamafile/resolve/main/llama-3.2-8b-instruct.Q4_K_M.llamafile
chmod +x llamafile

# 方法 3：从源代码构建
git clone https://github.com/Mozilla-Ocho/llamafile.git
cd llamafile
make

# 启动内置服务器
./llama-3.2-8b-instruct.Q4_K_M.llamafile --server -c 4096 --host 0.0.0.0 --port 8080

# 交互式 CLI 模式
./llama-3.2-8b-instruct.Q4_K_M.llamafile -ngl 99 --interactive

# 后台服务器（Linux）
nohup ./llama-3.2-8b-instruct.Q4_K_M.llamafile --server > llama.log 2>&1 &

# 测试 API
curl http://localhost:8080/v1/models

# 聊天完成
curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama-3.2-8b",
    "messages": [{"role": "user", "content": "解释量子计算"}],
    "temperature": 0.7
  }'

# 模型选择的决策矩阵
def choose_model(ram_gb, gpu_available, use_case):
    if ram_gb >= 64:
        return "llama-3.2-70b-Q4_K_M"  # 完整 70B 模型
    elif ram_gb >= 32:
        return "llama-3.2-8b-Q8_0"      # 高质量 8B
    elif ram_gb >= 16:
        return "llama-3.2-8b-Q4_K_M"    # 平衡选择
    elif ram_gb >= 8:
        return "phi-3-mini-Q4_K_M"      # 轻量选项
    else:
        return "gemma-2b-Q4_K_M"        # 最低可行

./all-MiniLM-L6-v2.Q4_K_M.llamafile --embedding --server -c 2048

# 生成嵌入
curl http://localhost:8080/v1/embeddings \
  -H "Content-Type: application/json" \
  -d '{"input": "你的文本", "model": "all-MiniLM-L6-v2"}'

# 简单 RAG 工作流
import subprocess
import requests

# 步骤 1：嵌入文档
def embed(text):
    resp = requests.post("http://localhost:8080/v1/embeddings", json={
        "input": text,
        "model": "all-MiniLM-L6-v2"
    })
    return resp.json()["data"][0]["embedding"]

# 步骤 2：带上下文的查询
def rag_query(query, retrieved_docs):
    context = "\n".join(retrieved_docs)
    prompt = f"基于以下内容回答：\n{context}\n\n问题：{query}"
    
    resp = requests.post("http://localhost:8080/v1/chat/completions", json={
        "model": "llama-3.2-8b",
        "messages": [{"role": "user", "content": prompt}],
        "temperature": 0.3
    })
    return resp.json()["choices"][0]["message"]["content"]

# 终端 1：聊天模型
./llama-3.2-8b-instruct.Q4_K_M.llamafile --server -p 8080

# 终端 2：嵌入模型
./all-MiniLM-L6-v2.Q4_K_M.llamafile --embedding --server -p 8081

# 终端 3：编码模型
./deepseek-coder-6.7b.Q4_K_M.llamafile --server -p 8082

FROM ubuntu:22.04
RUN apt-get update && apt-get install -y curl
COPY llama-3.2-8b-instruct.Q4_K_M.llamafile /app/llamafile
RUN chmod +x /app/llamafile
EXPOSE 8080
CMD ["/app/llamafile", "--server", "-c", "4096"]

# 首先安装 Ollama
curl -fsSL https://ollama.com/install.sh | sh

# 通过 Ollama 拉取模型
ollama pull llama3.2:8b

# Ollama 下载 GGUF 文件——LlamaFile 本质上是一个便携式的 GGUF 运行器

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8080/v1",
    api_key="not-needed"
)

response = client.chat.completions.create(
    model="llama-3.2-8b",
    messages=[{"role": "user", "content": "写一个 Python 函数"}],
    temperature=0.7
)
print(response.choices[0].message.content)

# 修复：使文件可执行
chmod +x your-model.llamafile

# 修复：减少上下文长度
./your-model.llamafile --server -c 2048  # 而不是默认的 4096

# 或关闭其他使用 RAM 的应用程序

# 修复：启用 CPU 优化
./your-model.llamafile --server -t 8  # 使用 8 个线程
./your-model.llamafile --server --mlock  # 将模型锁定在 RAM 中

# 修复：检查服务器是否正在运行
ps aux | grep llamafile

# 修复：确保端口正确
./your-model.llamafile --server --port 8080

# 运行前检查 SHA256 哈希
sha256sum llama-3.2-8b.Q4_K_M.llamafile
# 与 HuggingFace 上的官方哈希进行比较

# 在沙盒环境中运行
bubblewrap --ro-bind / / --bind . /app --run /app/llamafile --server

# ❌ 危险：暴露给所有接口
./model.llamafile --server --host 0.0.0.0

# ✅ 安全：使用防火墙规则或反向代理
./model.llamafile --server --host 127.0.0.1
nginx -c /path/to/proxy.conf