SGLang 推理服务
Orchestra-Research/AI-Research-SKILLs/12-inference-serving/sglang
平台通用（跨宿主）
带 RadixAttention 前缀缓存的 LLM 快速结构化生成与服务。用于 JSON/regex 输出、约束解码、带工具调用的 agentic 工作流、或需比 vLLM 快 5× 且前缀共享的推理时。驱动 xAI、AMD、NVIDIA、LinkedIn 的 300,000+ GPU。
Orchestra-Research/AI-Research-SKILLs/12-inference-serving/sglang
带 RadixAttention 前缀缓存的 LLM 快速结构化生成与服务。用于 JSON/regex 输出、约束解码、带工具调用的 agentic 工作流、或需比 vLLM 快 5× 且前缀共享的推理时。驱动 xAI、AMD、NVIDIA、LinkedIn 的 300,000+ GPU。