OpenRelay 实测:几百个免费 AI API 配额,真的能白嫖到吗?
OpenRelay 是一个开源的 AI 模型代理路由器,聚合了数百个免费 API 配额。我接入本地项目试了几天,聊聊哪些模型能用、稳定性能不能打。
广告
用 AI 做开发最头疼的事情之一,就是 API 账单。GPT-4o 调用几百次,十几美金就没了。本地小项目、个人实验、自动化脚本,根本扛不住这个开销。OpenRelay 就是冲着这个痛点来的——它把互联网上散布的各种免费 AI API 配额聚合起来,让你一键接入、按需路由。
这个项目是 romgX 写的,GitHub 上 1500 多 star。核心思路很简单:维护一个免费模型列表,每个模型对应一个可用的免费 API endpoint,OpenRelay 帮你做负载均衡和故障切换。
它到底聚合了哪些免费模型
我翻了一下它的模型列表,覆盖的范围确实挺广:
- OpenAI 兼容系:Groq、Cerebras、GitHub Models、OpenRouter 上的免费 tier
- Claude 系:通过某些平台的免费额度接入
- 国内模型:部分国内厂商的免费试用 API
- 小众平台:各种新兴的 AI inference 平台为了拉新放出的免费额度
官方说有”几百个”配额,实际我测试时列表里活跃的大概有 80-120 个左右。数量会波动,因为免费额度本来就有有效期,用完了或者被平台限制了就下掉了。
安装配置出乎意料地简单
OpenRelay 本身是一个 TypeScript 项目,但用法更像一个配置文件:
# 克隆项目
git clone https://github.com/romgX/openrelay.git
cd openrelay
# 安装依赖
npm install
# 配置环境变量
cp .env.example .env
.env 里主要就填你自己的 API key(有些免费 tier 也需要注册拿 key),然后启动:
npm start
它会在本地起一个代理服务,默认端口 3000。你的项目里把 OpenAI base URL 改成 http://localhost:3000/v1,key 随便填一个(OpenRelay 会自己替换),就能无缝接入了。
实际接入体验
我把一个平时用 GPT-4o mini 跑的小项目切到了 OpenRelay,测试了几天日常任务:文本摘要、代码 review、简单的数据提取。
能用吗?能。 大部分时候请求能正常返回,响应速度和直接用官方 API 差不多。Groq 的免费 tier 尤其稳定,Llama 3 系列模型响应飞快。
但稳定性确实是个问题。 免费额度被薅多了,平台会限流、降权、甚至临时关闭。OpenRelay 有自动故障切换,A 平台挂了会自动切 B 平台,但切换过程中偶尔会丢请求或者返回报错。我在自动化脚本里加了重试逻辑才好一些。
模型质量参差不齐。 免费 tier 上跑的模型,有些是小参数版本、有些是量化版、有些平台为了省钱偷偷换了模型版本。同样的 prompt,不同平台返回的质量可能差很多。OpenRelay 没法帮你解决这个问题,它只管路由。
优点很实在
省钱是真的省。 我这个小项目之前每月 OpenAI 账单大概 8-12 美金,切到 OpenRelay 后降到接近零。对于个人开发者、学生、小团队来说,这个吸引力太大了。
配置即插即用。 不用改业务代码,换一下 base URL 和 key 就行。兼容 OpenAI SDK 格式,现有的项目迁移成本几乎为零。
开源可审计。 代码全开源,你可以看到它怎么路由、怎么处理失败、怎么记录日志。不信任的话自己 fork 改。
社区维护活跃。 romgX 更新挺勤的,模型列表几乎每天刷新,失效的配额及时下掉,新的免费渠道上来了也会加进去。
但坑也不少
生产环境别用。 免费额度的 SLA 基本为零,关键时刻掉链子你就傻了。我只是在个人项目和实验里用,任何有商业承诺的场景都乖乖用付费 API。
延迟不稳定。 有些免费平台的推理节点在海外小众地区,延迟能飙到几秒。OpenRelay 虽然有负载均衡,但免费节点的质量它控制不了。
隐私顾虑。 你的请求数据会经过 OpenRelay 聚合的各种第三方平台。敏感信息、商业数据千万别走这条路。
模型能力不可预期。 你以为调的是 GPT-4o,实际上某个平台可能给你跑的是蒸馏版或者旧版本。对模型能力有精确要求的场景不合适。
适合谁用
如果你是个个人开发者,有一些非关键的自动化脚本、小工具、side project 需要 LLM 能力,又不想每个月交 API 账单,OpenRelay 是个不错的”白嫖”方案。它把散落的免费资源集中起来,省去了你自己到处注册、维护多个 key 的麻烦。
但如果你是做面向用户的产品、或者有 SLA 要求的内部工具,建议还是走正规付费渠道。免费的东西,稳定性和可预期性就是天然短板。
总结
OpenRelay 代表了一种很务实的开发哲学:在免费资源的边界上尽量榨取价值。它不是银弹,不会替代商业 API,但对于个人实验和小项目来说,确实能省下一笔不小的开销。1500 star 的成绩说明这个需求是真实存在的。用的时候保持清醒——免费有免费的代价,别在关键路径上依赖它就行。
GitHub: https://github.com/romgX/openrelay
关于作者
柳钉鱼,全栈开发者,GitHub 重度用户。过去 3 年 Star 了 900+ 仓库,这里只写我真正用过或深度调研过的工具。
📧 发现好工具想推荐?发邮件到 [email protected]
广告