岗位描述
岗位职责
从芯片、硬件与 Infra 的系统视角,让面壁模型及 Agent 在不同硬件平台上运行得更高效、稳定、流畅。既优化模型推理,也关注 Agent 调度、工具执行与端到端体验,并建设可衡量、可观测、可持续改进的工程基础设施。
职位描述
1. 负责面壁模型与 Agent 在目标硬件平台上的部署适配、运行支撑及性能优化,结合 CPU/GPU/NPU、内存、带宽和功耗等约束,设计合理的运行方案。
2. 分析模型推理、Agent 调度、工具调用、数据传输等链路,通过 Profiling 和可复现实验定位瓶颈,优化时延、吞吐、资源消耗与长时间运行稳定性。
3. 与模型、推理框架及芯片/硬件伙伴协作,推进模型格式、精度、运行时和加速后端适配,评估优化收益及质量代价,沉淀跨平台集成方案和诊断工具。
4. 搭建覆盖模型与 Agent 的 Benchmark 和自动化回归体系,管理硬件、软件、模型及数据版本,统一测试条件和评价口径,覆盖效果、性能与稳定性。
5. 建设可观测系统,贯通请求、模型推理、Agent 执行及工具调用的指标、日志和链路追踪,支持性能归因、异常告警和故障定位。
6. 建设合规的数据回流管线,在授权及最小必要采集原则下完成采样、脱敏、质量校验、版本管理与回放,将典型失败和性能问题转化为评测样本,支撑模型、系统及应用持续优化。
岗位要求
1. 具备扎实的 Linux、操作系统和计算机体系结构基础,理解并发、内存管理、I/O 与异构计算;熟练掌握 C++、Rust、Go 等至少一种适合系统研发的语言,能够使用 Python 开发自动化与评测工具。
2. 具备模型推理、运行时、端侧 AI、AI Infra 或系统性能优化的实际项目经验,在至少一类硬件平台或运行环境上有深入实践,能够通过工具与实验定位瓶颈并完成代码级优化。
3. 理解大模型推理的基本机制及资源特征,能够从硬件能力、运行时、任务调度和数据流等角度分析取舍,并关注 Agent 端到端任务质量与体验。
4. 具备可复现评测、自动化回归及系统诊断能力,能够建设或扩展 Benchmark、指标/日志/链路追踪及数据处理管线;重视版本、测试条件和效果基线。
5. 具备良好的跨团队协作和文档能力,能与应用、模型及硬件伙伴共同定位复杂问题,兼顾可维护性、稳定性与数据安全。
加分项
- 熟悉量化、模型转换、异构加速、算子/Kernel 优化、缓存/批处理或端云协同中的一个或多个方向。
- 有 llama.cpp、MLC、ONNX Runtime、TensorRT、vLLM、SGLang 等相关技术栈的使用、优化或贡献经验;不要求全部掌握。
- 有跨硬件评测平台、设备测试集群、长稳测试、OpenTelemetry 等可观测体系,或数据脱敏、回流与回放系统建设经验。
- 有 ARM/x86 或移动/嵌入式平台实践,以及与芯片、设备厂商联合研发或相关开源贡献经验。