vLLM 推理服务

NousResearch/hermes-agent/optional-skills/mlops/inference/serving-llms-vllm

242.8k 0Python自动化流程
平台通用(跨宿主)

vLLM:高吞吐的大模型推理服务,兼容 OpenAI API,支持量化。

全部 skill