高级 AI Infra 工程师（LLM Gateway / 模型接入平台）

关于岗位

AI 技术中台正在建设面向公司内部和业务侧的统一大模型基础设施，让不同团队能够稳定、安全、高效地使用多种模型能力。

你将参与公司核心 AI Gateway 和模型接入平台的设计与建设，持续提升模型调用的稳定性、性能、成本效率和可治理性。团队规模精干，你能够深度参与技术决策、核心编码、生产上线和长期演进。

你将负责

设计和持续演进 AI Gateway 与统一模型接入能力，支持内部及业务系统稳定使用多种模型；

完善流式调用、模型路由、故障切换、限流和降级等核心能力，持续提升服务稳定性与性能；

建设模型调用的权限、配额、日志、监控和成本统计能力，让模型使用可管理、可观测；

参与容量规划、压测、灰度发布和线上问题处理，保障核心业务稳定运行；

与业务研发协作推动接入和迁移，并沉淀必要的开发规范与最佳实践。

我们希望你具备

具备扎实的后端、网关或平台研发能力，有独立负责核心系统设计、开发和上线的经历；

技术栈不限，熟练掌握至少一种服务端开发语言；现有核心服务以 Go 为主；

熟悉网络服务和分布式系统的常见问题，具备稳定性、性能和线上故障处理经验；

有 AI Gateway、统一模型接入、模型服务/推理平台或 Agent Runtime 等相关实践，并理解大模型调用的特点；

保持一线开发，具备良好的沟通和协作能力，能够主动推动问题解决和项目落地。

加分项

有扎实的 Go 生产服务开发经验；

具备Bifrost、New API/One API、LiteLLM 等模型接入项目，或具备 API Gateway、Service Mesh 经验；

有模型推理服务、Kubernetes、调用可观测、路由或成本治理经验；

有 Agent Runtime、Skill、MCP、RAG 等相关实践，或有开源贡献和技术分享。

你将在这里获得

深度参与企业级统一 AI 基础设施从建设到规模化使用的完整过程；

直接服务内部研发及核心 AI 业务，技术决策能够快速获得真实反馈；

持续接触不同模型、供应商和业务场景，积累生产级 AI Infra 的完整实践。