FreeLLMAPI: Xếp chồng 16 bậc LLM miễn phí đằng sau một điểm cuối tương thích với OpenAI #

TL;DR — FreeLLMAPI tổng hợp các cấp độ miễn phí của hơn 16 nhà cung cấp LLM (Google Gemini, Groq, Cerebras, Mistral, NVIDIA, OpenRouter, GitHub Models, Cohere, Cloudflare, HuggingFace, Z.ai, Ollama Cloud, Kilo, Pollinations, LLM7, OVH) đằng sau một điểm cuối /v1/chat/completions duy nhất. Kết hợp lại, chúng mang lại khoảng 1,7 tỷ mã thông báo mỗi tháng cho khả năng suy luận làm việc. Cài đặt qua Docker bằng một lệnh, thêm khóa nhà cung cấp của bạn và trỏ bất kỳ ứng dụng khách nào tương thích với OpenAI vào máy chủ cục bộ của bạn.

FreeLLMAPI là gì? #

Mọi phòng thí nghiệm AI lớn hiện đều cung cấp cấp độ miễn phí - vài triệu token mỗi tháng, vài nghìn yêu cầu mỗi ngày. Bản thân mỗi tầng là một món đồ chơi. Được xếp chồng lên nhau, chúng bổ sung thêm khoảng 1,7 tỷ mã thông báo mỗi tháng cho khả năng suy luận hoạt động, trên hơn 100 mô hình từ nhỏ và nhanh đến có khả năng hợp lý.

Vấn đề là việc xếp chồng chúng bằng tay rất khó khăn: 17 SDK khác nhau, 17 giới hạn tốc độ khác nhau, 17 vị trí mà một yêu cầu có thể không thành công. FreeLLMAPI thu gọn thành một điểm cuối tương thích với OpenAI. Trỏ bất kỳ thư viện máy khách OpenAI nào vào máy chủ cục bộ của bạn và nó sẽ định tuyến một cách minh bạch trên bất kỳ nhà cung cấp nào mà bạn đã thêm khóa.

Được xây dựng bởi Tashfeen Ahmed, FreeLLMAPI là proxy Node.js tự lưu trữ (TypeScript/Express) với bảng điều khiển quản trị React. Nó hỗ trợ:

• API hoàn thành trò chuyện OpenAI (/v1/chat/completions)
• API thông điệp nhân loại (/v1/messages) — hoạt động với Mã Claude
• API phản hồi (/v1/responses) — dành cho Codex CLI
• Tạo hình ảnh (/v1/images/thế hệ)
• Chuyển văn bản thành giọng nói (/v1/audio/speech)
• Công cụ gọi với quy trình nhiều bước khứ hồi
• Nhúng với định tuyến dựa trên gia đình
• Phản hồi trực tuyến và không phát trực tuyến
• Tự động chuyển đổi dự phòng khi hết thời gian 429/5xx/timeout
• Lưu trữ khóa được mã hóa AES-256-GCM trong SQLite

GitHub: tashfeenahmed/freellmapi · Sao: 11.381+ · Giấy phép: MIT · Ngôn ngữ: TypeScript

Nhà cung cấp được hỗ trợ #

FreeLLMAPI hiện hỗ trợ 16 nhà cung cấp cấp miễn phí với hơn 100 mô hình:

Cộng với nhà cung cấp tùy chỉnh — trỏ tới bất kỳ điểm cuối nào tương thích với OpenAI (llama.cpp, LM Studio, vLLM, Ollama cục bộ hoặc cổng từ xa) từ trang Khóa.

Cài đặt #

Một lớp lót (Docker) #

Đường dẫn nhanh nhất là một lệnh duy nhất thiết lập mọi thứ:

cuộn tròn -fsSL https://freellmapi.co/install.sh | đánh đập 

Việc này tạo ra ~/freellmapi, tạo khóa mã hóa, kéo hình ảnh Docker và khởi động vùng chứa trên cổng 3001. Việc chạy lại là an toàn — .env và khóa mã hóa của bạn được giữ nguyên.

Docker Compose (Thủ công) #

bản sao git https://github.com/tashfeenahmed/freellmapi.git 
cd freellmapi 

# Tạo khóa mã hóa để lưu trữ khóa ở trạng thái nghỉ 
ENCRYPTION_KEY="$(openssl rand -hex 32)" 
printf "ENCRYPTION_KEY=%s\nPORT=3001\n" "$ENCRYPTION_KEY" > .env 

docker soạn thảo -d 

Mở http://localhost:3001, thêm khóa nhà cung cấp của bạn trên trang Khóa, sắp xếp lại Chuỗi dự phòng cho phù hợp và lấy khóa API hợp nhất của bạn từ tiêu đề trang Khóa.

Phát triển địa phương #

bản sao git https://github.com/tashfeenahmed/freellmapi.git 
cd freellmapi 
cài đặt npm 
cp .env.example .env 
ENCRYPTION_KEY="$(node -e 'console.log(require("crypto").randomBytes(32).toString("hex"))')" 
printf "ENCRYPTION_KEY=%s\nPORT=3001\n" "$ENCRYPTION_KEY" > .env 
npm chạy dev 

Ứng dụng dành cho máy tính để bàn #

Trình cài đặt gốc .dmg (macOS) và .exe (Windows) có sẵn từ Bản phát hành. Ứng dụng dành cho máy tính để bàn chạy toàn bộ bộ định tuyến và bảng điều khiển từ khay hệ thống của bạn với cửa sổ bật lên bằng kính hiển thị số liệu thống kê yêu cầu trực tiếp.

Bộ định tuyến hoạt động như thế nào #

Bộ định tuyến của FreeLLMAPI đưa ra quyết định theo yêu cầu:

1. Chọn mô hình có mức độ ưu tiên cao nhất có khóa tốt và nằm trong mọi giới hạn tốc độ
2. Giải mã khóa (AES-256-GCM), gọi SDK của nhà cung cấp
3. Vào 429/5xx/timeout → hồi chiêu + thử lại mô hình tiếp theo trong chuỗi dự phòng (tối đa 20 lần thử)

┌──────────────────┐ Người mang freellmapi-… ┌─────────────────────────┐ 
│ OpenAI SDK / │ ──────────────────────u │ Express proxy (:3001) │ 
│ cuộn tròn / bất kỳ │ ◀────────────────────── │ /v1/chat/completions │ 
│ Ứng dụng khách OpenAI │ đã phát trực tuyến mã thông báo └────────────┬────────────┘ 
└──────────────────┘ │ 
▼ 
┌──────────────────────── ────────────────────────┐ 
│ Bộ định tuyến │ 
│ 1. Chọn mô hình có mức độ ưu tiên cao nhất mà │ 
│ (a) có chìa khóa khỏe mạnh và │ 
│ (b) nằm dưới mọi giới hạn tỷ lệ của nó. │ 
│ 2. Khóa giải mã, gọi SDK của nhà cung cấp. │ 
│ 3. Vào 429/5xx → thời gian hồi chiêu + thử lại mẫu tiếp theo. │ 
└──────────────────────── ────────────────────────┘ 
│ 
┌──────────────┬────────────┬──────── ──┴─────────┬─────────────┬──────────┐ 
▼ ▼ ▼ ▼ ▼ ▼ 
Google Groq Cerebras OpenRouter HF …10 thêm 

Mọi phản hồi đều mang tiêu đề X-Routed-Via: <platform>/<model> để bạn có thể biết nhà cung cấp nào thực sự đã phục vụ mỗi cuộc gọi. Nếu một yêu cầu được chuyển giao giữa các nhà cung cấp, bạn cũng sẽ thấy X-Fallback-Attempts: N.

Sử dụng FreeLLMAPI với bất kỳ khách hàng nào #

Python (OpenAI SDK) #

từ openai nhập OpenAI 

khách hàng = OpenAI( 
base_url="http://localhost:3001/v1", 
api_key="freellmapi-your-unified-key", 
)

resp = client.chat.completions.create( 
model="auto", # để bộ định tuyến chọn; hoặc chỉ định ví dụ: "gemini-2.5-flash" 
messages=[{"role": "user", "content": "Tóm tắt sự sụp đổ của Rome trong một câu."}], 
) 
print(resp.choices[0].message.content) 
print("Được định tuyến qua:", resp.headers.get("x-routed-via")) 

Đang phát trực tuyến #

luồng = client.chat.completions.create( 
mô hình="tự động", 
messages=[{"role": "user", "content": "Truyền cho tôi một bài haiku về SQLite."}], 
luồng=Đúng, 
) 
cho đoạn trong luồng: 
print(chunk.choices[0].delta.content hoặc "", end="", Flush=True) 

Gọi công cụ #

công cụ = [{ 
"loại": "chức năng", 
"chức năng": { 
"tên": "get_weather", 
"description": "Nhận thông tin thời tiết hiện tại của một thành phố.", 
"tham số": { 
"loại": "đối tượng", 
"thuộc tính": {"thành phố": {"loại": "chuỗi"}}, 
"bắt buộc": ["thành phố"], 
}, 
}, 
}] 

#1. Model yêu cầu gọi tool 
đầu tiên = client.chat.completions.create( 
mô hình="tự động", 
messages=[{"role": "user", "content": "Thời tiết ở Karachi thế nào?"}], 
công cụ=công cụ, 
tool_choice="bắt buộc", 
) 
call = first.choices[0].message.tool_calls[0] 

#2. Bạn thực thi tool, phản hồi kết quả 
cuối cùng = client.chat.completions.create( 
mô hình="tự động", 
tin nhắn=[ 
{"role": "user", "content": "Thời tiết ở Karachi thế nào?"}, 
first.choices[0].message, 
{"role": "tool", "tool_call_id": call.id, "content": '{"temp_c": 32, "cond": "sunny"}'}, 
], 
công cụ=công cụ, 
) 
print(final.choices[0].message.content) 

Gemini Tìm kiếm trên Google Tiếp đất #

resp = client.chat.completions.create( 
mô hình="gemini-2.5-flash", 
messages=[{"role": "user", "content": "Ai đã thắng cuộc đua F1 cuối tuần này?"}], 
tools=[{"type": "function", "function": {"name": "google_search", "parameters": {}}}], 
) 
print(resp.choices[0].message.content) 

Tầm nhìn / Đầu vào hình ảnh #

resp = client.chat.completions.create( 
mô hình="tự động", 
tin nhắn=[{ 
"vai trò": "người dùng", 
"nội dung": [ 
{"type": "text", "text": "Có gì trong hình ảnh này?"}, 
{"type": "image_url", "image_url": {"url": "data:image/png;base64,<...>"}}, 
], 
}], 
) 
print(resp.choices[0].message.content) 

Tích hợp mã Claude #

FreeLLMAPI cũng sử dụng API Thông báo Anthropic, vì vậy Claude Code và SDK Anthropic chính thức có thể chạy dựa trên nhóm miễn phí của bạn:

xuất ANTHOPIC_BASE_URL=http://localhost:3001 
xuất ANTHOPIC_AUTH_TOKEN=freellmapi-your-unified-key 
Claude 

Sử dụng ANTHROPIC_AUTH_TOKEN (được gửi dưới dạng mã thông báo Bearer), không ANTHROPIC_API_KEY — Claude Code coi tập hợp ANTHROPIC_API_KEY là thông tin xác thực xung đột của bên thứ nhất và từ chối bắt đầu.

Tên mô hình Claude ánh xạ tới nhóm miễn phí của bạn trên tab Keys → Anthropic: mỗi họ (default, opus, sonnet, haiku) định tuyến đến auto (bộ định tuyến chọn một mô hình miễn phí) hoặc một mô hình mà bạn ghim. Truyền trực tuyến, lời nhắc hệ thống, sử dụng công cụ và nhập hình ảnh đều được dịch trên cùng một bộ định tuyến với các điểm cuối OpenAI.

Nhúng #

/v1/embeddings tương thích với OpenAI với một điểm khác biệt có chủ ý: chuyển đổi dự phòng không bao giờ vượt qua các mô hình. Các vectơ từ các mô hình khác nhau sống trong không gian không tương thích. Lộ trình nhúng theo họ:

resp = client.embeddings.create( 
mô hình="tự động", 
input=["con cáo nâu nhanh nhẹn", "đóng gói vào hộp của tôi năm chục bình rượu"], 
) 
print(len(resp.data), "vectơ của", len(resp.data[0].embedding), "dims") 

Các dòng nhúng có sẵn:

Tính năng chính #

• Chuyển đổi dự phòng tự động — Nếu nhà cung cấp đã chọn trả về 429, 5xx hoặc hết thời gian chờ, bộ định tuyến sẽ bỏ qua, đặt khóa ở thời gian hồi chiêu ngắn và thử lại trên mô hình tiếp theo trong chuỗi dự phòng của bạn (tối đa 20 lần thử)
• Phiên cố định — Cuộc trò chuyện nhiều lượt tiếp tục nói chuyện với cùng một mô hình trong 30 phút để tránh ảo giác tăng đột biến do chuyển đổi mô hình giữa cuộc trò chuyện
• Bộ lưu trữ khóa được mã hóa — Khóa API được mã hóa bằng AES-256-GCM trước khi truy cập SQLite; quá trình giải mã diễn ra trong bộ nhớ ngay trước khi có yêu cầu
• Khóa API hợp nhất — Khách hàng xác thực proxy của bạn bằng một mã thông báo mang freellmapi-… duy nhất. Bạn không bao giờ để lộ khóa của nhà cung cấp ngược dòng cho ứng dụng của mình
• Kiểm tra tình trạng — Các cuộc thăm dò định kỳ đánh dấu các khóa là healthy, rate_limited, invalid hoặc error để bộ định tuyến tự động bỏ qua các khóa không hoạt động
• Analytics — Ghi nhật ký theo yêu cầu với độ trễ, số lượng mã thông báo, tỷ lệ thành công và thông tin chi tiết về mỗi nhà cung cấp
• Chuyển giao bối cảnh — Tính năng tùy chọn đưa vào một thông báo hệ thống nhỏ gọn khi phiên chuyển sang một mô hình khác, để mô hình mới biết rằng nó đang tiếp tục một tác vụ hiện có
• Chạy mọi nơi — Máy chủ Windows, macOS, Linux hoặc ARM SBC nhỏ (bao gồm Raspberry Pi). ~40 MB RSS khi không hoạt động

Hiệu suất và năng lực #

Dung lượng cấp miễn phí tổng hợp là khoảng 1,7 tỷ mã thông báo mỗi tháng. Đây là bảng phân tích sơ bộ theo cấp độ:

Dung lượng thực tế của bạn phụ thuộc vào nhà cung cấp nào bạn kích hoạt và hạn ngạch bậc miễn phí hiện tại của họ. Bộ định tuyến theo dõi các bộ đếm RPM, RPD, TPM và TPD trên mỗi phím để nó luôn chọn một khóa nằm dưới giới hạn của nó.

Hạn chế #

Hãy trung thực về sự đánh đổi:

• Không có mô hình biên giới. Danh mục miễn phí bao gồm Llama 3.3 70B, GLM-4.5, Qwen 3 Coder và Gemini 2.5 Pro. Bạn sẽ không hiểu được lý luận của lớp GPT-5 hoặc Claude Opus thông qua việc này. Đối với những vấn đề khó khăn, hãy trả tiền cho một API thực sự.
• Trí thông minh suy giảm theo thời gian trong ngày. Những mô hình được xếp hạng hàng đầu của bạn có giới hạn hàng ngày thấp nhất. Sau khi đạt đến giới hạn, bộ định tuyến sẽ chuyển chuỗi ưu tiên của bạn xuống các mẫu nhỏ hơn/yếu hơn. Dự kiến ​​trí thông minh hiệu quả sẽ giảm vào những giờ cuối ngày — sau đó đặt lại vào nửa đêm UTC.
• Độ trễ rất khác nhau. Cerebras và Groq cực kỳ nhanh; những người khác thì không. Bạn nhận được bất cứ cái nào có sẵn.
• Bậc miễn phí có thể thay đổi mà không cần thông báo. Các nhà cung cấp thường xuyên thắt chặt, nới lỏng hoặc loại bỏ các bậc miễn phí. Khi điều đó xảy ra, bạn sẽ thấy lỗi 429 hoặc lỗi xác thực cho đến khi cập nhật danh mục.
• Không có SLA, theo định nghĩa. Nếu bạn cần độ tin cậy, hãy sử dụng nhà cung cấp trả phí có hợp đồng.
• Ưu tiên địa phương. Không có xác thực nhiều bên thuê. Hãy tự mình chạy cái này; đừng phơi bày nó trên internet.
• Không hỗ trợ các tính năng hoàn thành cũ. Chỉ /v1/chat/completions được triển khai, không phải /v1/completions hoặc /v1/moderations.

Ai nên sử dụng FreeLLMAPI? #

• Nhà phát triển cá nhân muốn tạo nguyên mẫu bằng nhiều mô hình mà không cần quản lý 17 khóa API
• Những người có sở thích AI với ngân sách eo hẹp muốn có khả năng suy luận tối đa với chi phí bằng 0
• Người dùng Claude Code / Codex CLI muốn điều hành đại lý của họ dựa trên nhóm miễn phí
• Người xây dựng RAG cần nhúng từ nhiều nhà cung cấp với tính năng dự phòng tự động
• Bất kỳ ai xây dựng ứng dụng tương thích với OpenAI muốn có một proxy linh hoạt vượt qua giới hạn tỷ lệ của nhà cung cấp riêng lẻ

Các lựa chọn thay thế được so sánh #

| Tính năng | Miễn phíLLMAPI | LiteLLM | OpenRouter | |———-|————-|———-|———-|| | Tổng hợp bậc miễn phí | ✅ 16 nhà cung cấp | ❌ Chỉ trả phí | ❌ Chỉ trả phí | | Tự lưu trữ | ✅ Docker/Nút | ✅ Docker/Nút | ❌ Chỉ trên đám mây | | Hỗ trợ API nhân loại | ✅ /v1/tin nhắn | ✅ | ✅ | | Lưu trữ khóa được mã hóa | ✅ AES-256-GCM | ✅ | Không áp dụng | | Bảng điều khiển dành cho quản trị viên | ✅ Phản ứng + Vite | ❌ Chỉ CLI | ✅ Web | | Ứng dụng cục bộ/máy tính để bàn | ✅ macOS/Windows | ❌ | ❌ | | Chi phí | Miễn phí (MIT) | Miễn phí (Apache 2.0) | Trả tiền cho mỗi mã thông báo | | Nhiều người thuê | ❌ Một người dùng | ✅ | ✅ |

Danh sách kiểm tra bắt đầu #

1. Cài đặt Docker (hoặc Node.js 20+ cho nhà phát triển cục bộ)
2. Chạy curl -fsSL https://freellmapi.co/install.sh | bash
3. Mở http://localhost:3001 và đăng nhập
4. Thêm khóa nhà cung cấp trên trang Khóa
5. Sắp xếp lại Chuỗi dự phòng của bạn để ưu tiên các mô hình bạn sử dụng nhiều nhất
6. Lấy khóa API hợp nhất của bạn
7. Trỏ SDK OpenAI của bạn vào http://localhost:3001/v1
8. Bắt đầu nhắc nhở bằng model: "auto"

Câu hỏi thường gặp #

Hỏi: Tôi có cần khóa API cho tất cả 16 nhà cung cấp không? #

Không. FreeLLMAPI hoạt động với bất kỳ khóa nào bạn thêm vào. Một số nhà cung cấp (Kilo, Pollinations, LLM7, OVH) chấp nhận yêu cầu ẩn danh. Những người khác yêu cầu đăng ký cấp miễn phí. Bắt đầu với 2-3 phím và thêm nhiều hơn nếu cần.

Hỏi: Tôi có thể sử dụng FreeLLMAPI với LangChain hoặc LlamaIndex không? #

Đúng. FreeLLMAPI triển khai định dạng dây tương thích với OpenAI. Bất kỳ ứng dụng khách nào hoạt động với base_url + api_key sẽ hoạt động — LangChain, LlamaIndex, Continue, Hermès Agent, v.v. Chỉ cần thay đổi base_url thành http://localhost:3001/v1.

Hỏi: Chuỗi dự phòng hoạt động như thế nào? #

Bạn xác định thứ tự ưu tiên của các mô hình trong bảng thông tin. Khi một yêu cầu được thực hiện, bộ định tuyến sẽ chọn mô hình hoạt động tốt có mức ưu tiên cao nhất. Nếu mô hình đó trả về 429, 5xx hoặc hết thời gian, nó sẽ chuyển sang mô hình tiếp theo trong chuỗi của bạn. Mỗi phím sẽ có thời gian hồi chiêu ngắn trước khi thử lại.

Hỏi: Dữ liệu của tôi có an toàn không? #

Tất cả các khóa API của nhà cung cấp đều được mã hóa bằng AES-256-GCM và được lưu trữ trong cơ sở dữ liệu SQLite cục bộ. Quá trình giải mã chỉ diễn ra trong bộ nhớ, ngay trước khi yêu cầu được gửi. Lời nhắc và thông tin hoàn thành của bạn không được lưu trữ bên ngoài — phân tích yêu cầu được lưu giữ cục bộ trong 90 ngày hoặc 100.000 hàng (có thể định cấu hình).

Hỏi: Tôi có thể thêm nhà cung cấp tùy chỉnh của riêng mình không? #

Đúng. Nhà cung cấp Tùy chỉnh cho phép bạn trỏ đến bất kỳ điểm cuối nào tương thích với OpenAI — llama.cpp, LM Studio, vLLM, phiên bản Ollama từ xa hoặc bất kỳ proxy nào khác. Nó xuất hiện ở cuối chuỗi dự phòng của bạn và có thể được sắp xếp lại như bất kỳ nhà cung cấp nào khác.

Hỏi: Còn bậc Premium thì sao? #

Số lượt cài đặt miễn phí diễn ra trong thời gian ngắn hàng tháng — không mất phí, vĩnh viễn. Premium ($19/năm hoặc $49 trọn đời) theo sau nguồn cấp dữ liệu trực tiếp, được làm mới 2-3 ngày một lần, do đó, các mẫu miễn phí mới sẽ được thêm vào bộ định tuyến của bạn ngay lập tức. Máy chủ danh mục không bao giờ nhìn thấy lời nhắc, phần hoàn thành hoặc khóa nhà cung cấp của bạn.

Thiết lập soạn thảo Docker #

Đối với các nhóm thích Docker Compose hơn tập lệnh cài đặt:

phiên bản: '3.8' 
dịch vụ: 
freellmapi: 
hình ảnh: freellmapi/máy chủ:mới nhất 
cổng: 
- "3001:3001" 
khối lượng: 
- ./data:/app/data 
môi trường: 
- ENCRYPTION_KEY=your-random-32-char-key-tại đây 
khởi động lại: trừ khi dừng lại 

# Tạo thư mục dữ liệu và bắt đầu 
dữ liệu mkdir -p 
docker soạn thảo -d 
# Bảng điều khiển quản trị tại http://localhost:3001 

Biến môi trường #

Tất cả cấu hình có thể được đặt thông qua các biến môi trường:

xuất PORT=3001 
xuất ENCRYPTION_KEY="a1b2c3d4e5f6g7h8i9j0k1l2m3n4o5p6" 
xuất LOG_LEVEL=thông tin 
xuất MAX_RETRIES=3 
xuất REQUEST_TIMEOUT=30000 

# Xác minh cấu hình của bạn 
docker exec freellmapi node --eval "console.log(process.env.PORT)" 

Quản lý CLI #

FreeLLMAPI đi kèm với CLI quản lý để tự động hóa:

# Kiểm tra trạng thái máy chủ 
trạng thái freellmapi 

# Liệt kê các nhà cung cấp đang hoạt động và số lượng khóa của họ 
nhà cung cấp freellmapi --list 

# Xuất cấu hình của bạn để sao lưu 
xuất cấu hình freellmapi > freellmapi-backup.json

# Khôi phục cấu hình từ bản sao lưu 
khôi phục cấu hình freellmapi < freellmapi-backup.json 

# Giám sát nhật ký yêu cầu thời gian thực 
nhật ký freellmapi --theo dõi --từ 5 phút 

# Kiểm tra xem nhà cung cấp nào bị giới hạn tỷ lệ ngay bây giờ 
sức khỏe freellmapi --nhà cung cấp 

Nguồn #

• FreeLLMAPI trên GitHub
• freellmapi.co — Danh mục mô hình trực tiếp
• Tập lệnh cài đặt FreeLLMAPI
• Bản phát hành FreeLLMAPI dành cho máy tính để bàn

Bạn muốn dùng thử FreeLLMAPI? Triển khai nó trong vòng chưa đầy 2 phút với Docker. Không cần thẻ tín dụng, không cần quản lý khóa API, không cần khóa nhà cung cấp. Chỉ một điểm cuối cho 16 nhà cung cấp LLM miễn phí.

Tham gia cộng đồng Dibi8: Telegram Group