OmniRoute: Free AI Gateway with 237 Providers and 90+ Free Tiers

{{< 资源信息 >}}

AI API 成本正在消耗开发人员的预算。每个编码工具——Claude Code、Cursor、Codex、Cline——都需要自己的 API 密钥、自己的订阅、自己的速率限制。当模型达到其配额时，您的工作流程就会停止。 OmniRoute 通过成为单个 AI 网关来解决此问题，该网关可跨 237 多个提供商路由请求，内置 90 多个免费层，以及可将代币成本削减 15-95% 的压缩层。

OmniRoute 是由 Diego Souza 创建的 TypeScript 项目，充当 AI 编码工具和它们调用的模型之间的通用代理。您无需在 10 个不同的服务中配置 10 个不同的 API 密钥，而是将 OmniRoute 指向一个端点，它会自动处理提供商选择、自动回退、令牌压缩和成本优化。

什么是 OmniRoute？ #

OmniRoute 是一个免费的 AI 网关，它将 237 多个 AI 提供商聚合到一个端点中。它是为使用多种 AI 编码工具（Claude Code、Cursor、Codex、Cline、Copilot、OpenCode）并希望在不牺牲模型质量的情况下最大限度降低成本的开发人员而构建的。

核心见解：大多数人工智能编码工具通过 OpenAI 兼容的 API 与法学硕士进行对话。 OmniRoute 位于您的工具和模型提供者之间，拦截请求并做出智能路由决策。当 Claude Sonnet 价格昂贵或速率受限时，OmniRoute 会自动回退到更便宜或免费的替代方案 - Gemini Flash、Groq 的 Llama、Together 的 Mistral - 无需您更改一行代码。

关键功能 #

• 超过 237 个提供商，涵盖 50 多个免费套餐 - 从 OpenAI 和 Anthropic 到 Groq、Together AI 和 Perplexity 等免费套餐提供商
• RTK + Caveman 压缩 — 两种专有的令牌压缩策略，可将上下文窗口使用量减少 15-95%
• 智能自动回退 — 当一个提供商返回错误或超过成本阈值时，OmniRoute 会尝试路由链中的下一个提供商
• MCP 和 A2A 支持 — 与模型上下文协议代理和代理间通信配合使用
• 桌面应用程序和 PWA — 作为桌面应用程序或渐进式 Web 应用程序在本地运行
• 零配置 — 安装，将您的 AI 工具指向 http://localhost:3000，然后开始保存

OmniRoute 的工作原理 #

OmniRoute 作为具有智能路由层的透明代理运行。这是请求流程：

你的人工智能工具（光标/克劳德代码/克莱恩）
    ↓
OmniRoute 网关 (本地主机:3000)
    ↓
提供商路由器 → 检查：成本、延迟、速率限制、可用性
    ↓
选定的提供商（OpenAI / Anthropic / Groq / Together / 等）
    ↓
响应 → 通过 RTK+Caveman 压缩 → 返回到您的工具

令牌压缩：RTK + Caveman #

OmniRoute 的秘密武器是它的双压缩管道：

1. RTK（请求令牌保留） — 仅识别和保留对当前请求重要的令牌。在请求到达模型之前，系统提示、重复的上下文和未使用的工具定义将被删除。

2.穴居人压缩——一种更激进的策略，将对话历史压缩为语义摘要。 Caveman 没有发送完整的 200 轮对话，而是将其总结为关键决策点和代码更改，从而减少了高达 95% 的上下文。

结合起来，这些策略意味着通常花费 0.03 美元 API 令牌的请求可能会花费 0.003 美元——每次调用可节省 10 倍。

智能路由和自动回退 #

OmniRoute 为每个模型系列维护一个路由优先级列表。例如，当您的工具请求“Claude Sonnet”时，OmniRoute 可能会尝试：

1. Anthropic API（主要）——最好的质量，付费
2. Amazon Bedrock（次要）——相同型号，不同定价
3. Groq（后备）——可用免费层，快速推理
4. Together AI（紧急）——另一个免费选项

如果步骤 1 返回 429（速率限制）或超出您配置的成本阈值，OmniRoute 会自动重试步骤 2、3、4 — 一切都是透明的。您的编码工具永远不会知道其中的区别。

安装和设置 #

先决条件 #

• Node.js 18+ 或 Docker
• AI 编码工具（Cursor、Claude Code、Cline 或任何 OpenAI 兼容客户端）

方法 1：桌面应用程序（推荐） #

# 从 https://omniroute.online 下载
# 或者通过包管理器安装
npm install -g @omniroute/desktop
全向启动

桌面应用程序在“http://localhost:3000”上启动本地服务器并打开管理仪表板。

方法2：Docker #

docker 运行 -d \
  --名称全路由\
  -p 3000:3000 \
  -v ~/.omniroute:/app/data \
  diegosouzapw/omniroute:最新

方法3：源代码 #

git 克隆 https://github.com/diegosouzapw/OmniRoute.git
cd OmniRoute
npm 安装
npm 运行构建
npm 启动

连接您的人工智能工具 #

OmniRoute 运行后，配置您的 AI 编码工具以将其用作基本 URL：

对于光标：

设置 → AI 提供商 → 自定义 API 库
→ http://localhost:3000/v1

对于克劳德代码：

导出 OPENAI_BASE_URL=http://localhost:3000/v1
导出 OPENAI_API_KEY=全路由密钥
克劳德

对于 Cline（VS 代码扩展）：

设置 → OpenAI 兼容 → API 基本 URL
→ http://localhost:3000/v1

就是这样。您的工具发出的每个请求现在都会流经 OmniRoute 的路由引擎。

提供商生态系统 #

OmniRoute 支持多个类别的 237 多个提供商：

免费级别提供商 (50+) #

付费提供商 (187+) #

仅免费层（主要是 Groq 和 Together AI）就可以处理大多数日常编码任务。 OmniRoute 的压缩层通过减少每个请求所需的上下文窗口，使这些免费模型与付费模型具有竞争力。

与替代方案的比较 #

OmniRoute 与 OpenRouter #

OmniRoute 的主要区别在于令牌压缩管道。 OpenRouter 在提供者之间路由，但发送完整的上下文窗口。 OmniRoute 在路由之前压缩上下文，这意味着每美元代币您可以获得更多请求，或者释放原本需要花钱的请求。

OmniRoute 与 LiteLLM #

LiteLLM 是更成熟的项目，具有更广泛的模型支持。 OmniRoute 凭借易于设置和通过压缩节省成本而获胜。对于想要立即安装并开始保存的开发人员来说，OmniRoute 是更快的路径。

实际成本节省 #

以下是典型编码工作流程的代表性成本比较：

场景：使用光标进行每日代码审查 #

没有 OmniRoute：

每日请求数：200
每个请求的平均上下文：8K 令牌
模型：Claude Sonnet（3/100 万美元输入代币）
每日费用：200 × 8K × $0.003 = $4.80/月：~$144

使用 OmniRoute：

每日请求数：200
压缩上下文：2K 令牌（减少 75%）
后备：Groq Llama 3.3（免费）
每日费用：$0.00/月：~$0

结果：此工作流程的成本降低了 100%。即使 OmniRoute 回退到付费提供商，压缩也意味着每个请求使用的令牌数量减少了 4 倍。

场景：使用多个模型进行大量研究 #

没有 OmniRoute：

GPT-4o：50 个请求 × 16K 代币 × 0.006 美元 = 4.80 美元
Claude Sonnet：30 个请求 × 12K 代币 × $0.003 = $1.08
总计：5.88 美元/天 ≈ 176 美元/月

使用 OmniRoute：

压缩平均：4K 令牌/请求
自动路由到最便宜的可用
总计：1.20 美元/天 ≈ 36 美元/月

结果：即使在混合模型工作负载下，成本也降低了 79%。

高级功能 #

MCP 和 A2A 集成 #

OmniRoute 支持模型上下文协议 (MCP) 服务器，这意味着 AI 代理可以通过 OmniRoute 自动发现和路由。需要调用 LLM 的启用 MCP 的代理可以查询 OmniRoute 的提供商注册表、选择最便宜的可用端点并获得响应 - 所有这些都无需人工干预。

代理到代理 (A2A) 支持意味着多个 OmniRoute 实例可以进行通信。在团队设置中，一名开发人员的 OmniRoute 实例可以与其他人共享其提供程序池，从而在整个组织中分配成本。

自定义路由规则 #

高级用户可以在仪表板或通过配置文件定义路由规则：

routing:
  max_cost_per_request: 0.001
  preferred_models:
    - "claude-sonnet"
    - "gemini-pro"
  fallback_chain:
    - "groq-llama-3.3"
    - "together-mixtral"
    - "fireworks-qwen"
  compression:
    enabled: true
    strategy: "rtk+caveman"
    max_context_window: 4096

分析仪表板 #

桌面应用程序包括一个实时分析仪表板，显示：

• 每个提供商路由的请求
• 通过压缩保存令牌
• 通过免费层路由避免成本
• 错误率和回退统计

限制和权衡 #

压缩质量 #

穴居人压缩总结了对话历史。对于每行上下文都很重要的技术性很强的代码审查，积极的压缩可能会减少细微差别。 RTK 层更加保守——它去除冗余标记但保留语义内容。用户可以在设置中调整压缩强度。

提供商可靠性 #

免费套餐提供商的费率限制低于付费提供商。在高峰使用期间，Groq 或 Together AI 可能会限制请求，导致 OmniRoute 反复回退。这会增加延迟（通常每次回退尝试 200-500 毫秒），但很少会导致失败。

配置锁定 #

将 AI 工具配置为指向 OmniRoute 后，切换回直接 API 调用需要重新配置每个工具。迁移路径很简单（每个工具更改一个 URL），但这是一种承诺。

社区规模 #

OmniRoute 的星数已超过 12K，但仍在增长，但仍小于 LiteLLM (30K+) 和 OpenRouter 等竞争对手。社区贡献的集成较少，可供借鉴的第三方文档也较少。

编者的话 #

OmniRoute 代表了开发人员对 AI API 成本的看法发生了根本性转变。 OmniRoute 不是与各个提供商协商更好的定价或转向更便宜的模型，而是通过压缩请求并智能路由它们来优化您已有的内容（现有的工具订阅）。

RTK+Caveman 压缩减少 75% 的令牌是杀手级功能。即使您只使用免费层（Groq、Together AI），压缩请求也意味着每个令牌有更有用的输出。与自动回退相结合，OmniRoute 将速率受限的免费套餐体验转变为生产质量的管道。

对于每月在 AI API 上花费超过 500 美元的团队来说，OmniRoute 只需几分钟即可收回成本。对于个人开发者来说，它是一个免费工具，使免费层提供商能够从事严肃的工作。零配置设置意味着您可以在 5 分钟内完成从安装到节省的过程。

OmniRoute 落后于竞争对手的一个领域是专业模型的提供商多样性。如果您需要利基模型（微调的 Loras、特定于域的 API），OpenRouter 或 LiteLLM 拥有更广泛的目录。但对于日常编码（GPT-4、Claude、Llama、Gemini）来说，OmniRoute 涵盖了基本要素，而且成本更低。

＃＃ 常问问题

问：OmniRoute 真的可以免费使用吗？ #

答：是的。 OmniRoute 本身 100% 免费且开源（MIT 许可证）。您仍然需要访问提供商的 API，但 OmniRoute 可以最大限度地利用免费套餐（Groq、Together AI 等）并压缩令牌，因此付费使用成本要低得多。许多用户完全通过 OmniRoute + 免费提供商实现每月 0 美元的 AI 成本。

问：令牌压缩如何影响代码质量？ #

答：RTK 压缩保留所有语义相关的标记，仅删除冗余（重复的系统提示、未使用的工具定义）。 Caveman 压缩总结了对话历史记录 - 对于大多数编码任务，摘要保留了所有与代码相关的决策和更改。存在边缘情况（非常长、细致入微的代码审查），但 95% 以上的日常编码工作流程没有出现质量下降。

问：我可以将 OmniRoute 与非 Cursor 工具一起使用吗？ #

答：是的。任何支持 OpenAI 兼容 API 的工具都可以与 OmniRoute 配合使用 — Claude Code、Cline、Windsurf、Aider、Continue、Tabby 等。 OmniRoute 将自身呈现为标准 OpenAI 兼容端点（/v1/chat/completions），因此它可以与任何与 OpenAI 对话的内容集成。

问：如果所有免费提供商都受到速率限制会怎样？ #

答：OmniRoute 会退回到您配置的链中的付费提供商。您可以设置每个请求的最高费用 - 如果所有免费选项都用尽并且下一个付费选项超出您的阈值，则请求将被拒绝，而不是产生意外费用。这可以让您完全控制成本。

问：OmniRoute 是否存储我的代码或 API 密钥？ #

答：不会。OmniRoute 是一个透明代理 — 它路由请求，但不记录、存储或检查代码内容。上游提供商的 API 密钥本地存储在您的计算机上（静态加密）。 OmniRoute 的架构专为隐私而设计：除了选定的 AI 提供商之外，您的代码永远不会离开您的机器。

问：OmniRoute 可以同时路由到多少个提供商？ #

答：OmniRoute 为每个模型系列维护最多 10 个提供商的路由链。当收到请求时，它会按优先级顺序尝试提供程序，直到成功为止。超过 237 个提供商被组织成约 50 个模型系列，每个模型系列都有自己的路由链。您可以通过仪表板或配置文件自定义每个模型的链。

Dibi8 的更多内容 #

• Chrome DevTools MCP：编码代理的浏览器自动化
• herdr：用于编码代理的终端代理多路复用器
• Orca：StableAI 的并行代理编排

来源 #

• OmniRoute GitHub 存储库
• OmniRoute 文档
• 免费层级参考
• RTK 压缩技术深入探讨

发布时间：2026 年 7 月 7 日 |最后更新时间：2026 年 7 月 7 日 |星级： 12,356 |许可证：麻省理工学院