vLLM 推理服务

用 vLLM 的 PagedAttention 与连续批处理高吞吐服务 LLM。部署生产 LLM API、优化推理延迟/吞吐、或在有限 GPU 内存服务模型时使用。支持 OpenAI 兼容端点、量化（GPTQ/AWQ/FP8）、张量并行。