模型推理平台实习生

工作内容
岗位介绍
我们正在构建下一代 大模型推理平台（LLM Inference Platform），面向 AI Coding、研发效率提升与生产业务智能化等核心场景，提供高性能、可扩展的大模型推理能力。
团队致力于打造 自研推理基础设施，结合开源模型与推理生态（如 vLLM、TensorRT-LLM 等），在 大规模 GPU 集群上持续优化推理系统的 吞吐（Throughput）、首Token延迟（TTFT）、GPU利用率以及单位 Token 推理成本（$/Million Tokens）。
岗位职责
- 参与 自研大模型推理平台的系统研发与架构优化
- 在大规模 GPU 集群环境中优化推理系统的 Throughput、TTFT 和 GPU Utilization
- 设计和实现高效推理架构，例如：
- Prefill / Decode 分离式推理
- Continuous / Dynamic Batching
- 异构推理资源调度
- 构建 分布式 KV Cache 与推理缓存体系，减少重复计算并提升 token generation efficiency
- 优化推理系统的 单位 Token 计算成本（$/Million Tokens） 与集群资源效率

任职条件
- 计算机、人工智能或相关方向 硕士/博士在读
- 在以下领域具备扎实基础之一：
- 分布式系统
- GPU / 高性能计算
- 大模型训练或推理系统
- 熟练使用 Python / C++ / CUDA / Go 等至少一门语言
- 对 AI Infra / MLSys / LLM Serving 方向有浓厚兴趣
加分项
- 熟悉主流推理框架：
- vLLM
- TensorRT-LLM
- DeepSpeed-Inference
- 有以下经验之一：
- GPU 集群系统开发
- AI 推理服务系统
- Kubernetes 或云原生基础设施
- 在 MLSys / 系统 / AI 顶会（如 OSDI、MLSys、NeurIPS 等）有相关研究成果