岗位描述
岗位职责
1、负责 MaaS大模型服务平台后端核心系统开发,包括算力调度系统、模型接入层、API网关、计费计量、租户权限、资源配额、监控告警、用量统计核心模块研发。
2、参与异构算力(NVIDIA/国产昇腾)资源池化、推理任务排队、负载均衡、自动扩缩容、算力错峰调度模块开发。
3、设计高并发、高可用的Token计费、流量控制、防刷、分布式限流体系,支撑每日千亿级Token调用量。
4、对接底层推理引擎、存储、监控系统,保障大模型推理服务SLA稳定、低延迟、高吞吐。
5、参与私有化部署版本封装、多环境适配、国产化环境兼容迭代。
任职要求
1、本科及以上学历,5年以上后端开发经验,Java/Go任意一种主力技术栈。
2、熟悉微服务、分布式架构、Redis、MQ、MySQL、分布式事务、高并发调优。
3、熟悉网关、权限体系、计费计量、日志链路追踪、监控体系开发者优先。
4、有算力平台、云平台、AI平台、MaaS/LLM平台开发经验者优先。
5、了解容器化、K8s、资源调度、GPU算力管理、推理服务部署经验优先。