人工智能-远程-1个月

项目编号：【44565】
StarRiver AI 平台｜高级 AI 推理优化工程师（LLM / GPU）

项目介绍

StarRiver 是一个由北美 AI Infrastructure 初创团队开发的模型推理与 GPU 算力服务平台，旨在整合不同模型及算力供应商，为开发者和企业提供统一、稳定、可扩展的模型 API 服务。

现寻找一名具备生产环境经验的高级 AI 推理优化工程师，负责大语言模型推理性能分析、Benchmark、推理运行时调优及 GPU 资源效率优化，参与 StarRiver 核心推理基础设施的建设。

主要开发内容

1. 为大语言模型及其他推理负载建立可重复的性能 Benchmark，评估不同模型及 GPU 配置下的性能表现。
2. 分析端到端延迟、首 Token 延迟（TTFT）、Token 生成速度、吞吐量、显存占用、GPU 利用率及单位推理成本。
3. 优化 Batching、KV Cache、Quantization、多 GPU 并行策略、模型加载及推理运行时参数。
4. 使用 Profiling 工具定位 GPU、CPU、显存、内存、通信及数据传输瓶颈。
5. 评估并调优 vLLM、TensorRT-LLM、Triton 等主流推理运行时。
6. 根据不同模型、硬件和业务负载，制定可复现的性能配置和容量建议。
7. 验证性能优化后的输出正确性、数值精度和服务稳定性。
8. 建立性能回归测试、Benchmark 数据及优化结果记录，防止版本更新导致性能退化。
9. 记录优化方案的适用条件、参数、限制及回退方式。
10. 与后端工程师协作，将优化后的模型服务接入生产请求链路。

技术要求

1. 计算机相关专业硕士及以上学历，优先考虑双一流高校背景。
2. 具有 3 年以上机器学习系统、模型推理优化或 GPU 性能工程经验。
3. 具备真实生产环境中的 LLM Inference 性能分析和优化经验。
4. 熟悉 Python、PyTorch，以及至少一种主流模型推理运行时。
5. 深入理解 Transformer Inference、Attention、KV Cache、Batching、Quantization 和多 GPU 并行的性能影响。
6. 能够使用 Profiling 和监控工具定位计算、显存、内存、通信及 I/O 瓶颈。
7. 能够独立设计可重复的 Benchmark 和性能回归测试，并通过数据说明优化效果及技术取舍。
8. 能够验证模型优化后的输出正确性、数值精度及系统稳定性。

加分项

- 有 CUDA、C++、Triton Kernel 或 GPU 算子优化经验。
- 有 INT8、FP8、INT4 等量化及精度验证经验。
- 有多 GPU、多节点推理或高速互连调优经验。
- 深入使用过 vLLM、TensorRT-LLM、Triton 等模型服务框架。
- 熟悉 NVIDIA GPU 架构、Nsight、DCGM 或类似性能分析工具。

合作方式

- 国内远程协作，无需驻场。
- 与北美 AI Infrastructure 团队及其他研发工程师共同推进项目。
- 面向长期技术合作，也可先通过明确的 Benchmark 或推理优化任务开展合作。
- 具体服务范围、投入时间及交付标准双方协商确定。
- 按月或阶段性交付结算，具体服务费用和安排以双方协议及平台规则为准。

申请要求

请提供以下信息：

1. 个人技术背景及 LLM Inference / GPU Optimization 相关经验。
2. 过往模型推理部署及性能优化项目案例。
3. 使用过的 GPU 型号、模型及推理框架。
4. 实际优化过的性能指标，例如 TTFT、Throughput、GPU Utilization 或单位推理成本。
5. GitHub、技术文章、开源贡献或其他可展示的技术成果（如有）。
6. 可投入时间、可开始合作时间及期望月度服务报价。