TensorRT-LLM 推理
Orchestra-Research/AI-Research-SKILLs/12-inference-serving/tensorrt-llm
平台通用（跨宿主）
用 NVIDIA TensorRT 优化 LLM 推理达最大吞吐与最低延迟。在 NVIDIA GPU（A100/H100）生产部署、需比 PyTorch 快 10-100× 的推理、或用量化（FP8/INT4）、在途批处理、多 GPU 扩展服务模型时使用。
Orchestra-Research/AI-Research-SKILLs/12-inference-serving/tensorrt-llm
用 NVIDIA TensorRT 优化 LLM 推理达最大吞吐与最低延迟。在 NVIDIA GPU（A100/H100）生产部署、需比 PyTorch 快 10-100× 的推理、或用量化（FP8/INT4）、在途批处理、多 GPU 扩展服务模型时使用。