共 4 个 skill · 数据来自 GitHub 与精选合集，每日更新
NousResearch/hermes-agent/optional-skills/mlops/inference/serving-llms-vllm
vLLM：高吞吐的大模型推理服务，兼容 OpenAI API，支持量化。
NousResearch/hermes-agent/optional-skills/mlops/tensorrt-llm
High-throughput LLM inference on NVIDIA GPUs.EN
Orchestra-Research/AI-Research-SKILLs/12-inference-serving/tensorrt-llm
用 NVIDIA TensorRT 优化 LLM 推理达最大吞吐与最低延迟。在 NVIDIA GPU（A100/H100）生产部署、需比 PyTorch 快 10-100× 的推理、或用量化（FP8/INT4）、在途批处理、多 GPU 扩展服务模型时使用。
Orchestra-Research/AI-Research-SKILLs/12-inference-serving/vllm
用 vLLM 的 PagedAttention 与连续批处理高吞吐服务 LLM。部署生产 LLM API、优化推理延迟/吞吐、或在有限 GPU 内存服务模型时使用。支持 OpenAI 兼容端点、量化（GPTQ/AWQ/FP8）、张量并行。