ai infra开发工程师（校招）

岗位职责：

1.建设和优化模型推理系统。 负责 LLM、VLM 及决策类模型的推理适配与服务化，针对模型结构和业务负载选择、扩展或优化推理框架，提升实时响应能力和资源效率。

2.优化双工流式语音的并发部署。 围绕持续音频输入与输出，设计和优化会话调度、流式批处理、状态与缓存管理、资源复用及背压机制；支持会话动态接入与退出、打断及取消，在满足实时性要求的前提下提升单卡有效并发会话数。

3.开展端到端性能分析与加速。 定位数据预处理、视觉／音频编码、模型计算、解码、CPU–GPU 数据传输和服务调度中的瓶颈；结合实际收益与质量约束，应用量化、计算图优化、CUDA Graph、算子融合、缓存复用及多 GPU 并行等技术。

4.保障生产服务的稳定性与可扩展性。 建设模型部署、负载均衡、容量管理、监控告警和故障诊断能力，处理长连接、长会话及突发流量下的资源隔离、显存增长和尾延迟问题。

5.建立性能与质量评测体系。 构建可复现的基准测试、并发压测和回归流程，跟踪首 token／首音频延迟、流式输出间隔、P95/P99 延迟、有效并发、显存占用及单位服务成本，并与算法团队共同评估优化对模型效果、决策质量和语音体验的影响。

6.支持后续训练与 RL 基础设施演进。 根据业务需求，参与离线推理、rollout 采样、奖励模型服务和分布式训练流程的建设，支持模型权重同步、训练与推理行为一致性及实验可复现。