NousResearch/hermes-agent/optional-skills/mlops/inference/serving-llms-vllm
vLLM:高吞吐的大模型推理服务,兼容 OpenAI API,支持量化。
全部 skill