岗位职责:
岗位职责:
1. 基于GPU的推理框架的适配及研发
2. 基于GPU的推理模型性能分析及优化
任职要求:
岗位要求:
1. 熟悉使用vllm、lmdeploy、sglang、tensorrt等大模型及cv类推理框架
2. 熟悉使用GPU性能分析工具,nsight、ncomputer等
3. 熟悉推理量化、剪枝、chunk prefill、speculative decoding等技术
4. 有过大模型推理部署经验者优先
5. 熟练使用C/C++、python编程
6. 熟悉使用linux操作系统