全部 skill

带 RadixAttention 前缀缓存的 LLM 快速结构化生成与服务。用于 JSON/regex 输出、约束解码、带工具调用的 agentic 工作流、或需比 vLLM 快 5× 且前缀共享的推理时。驱动 xAI、AMD、NVIDIA、LinkedIn 的 300,000+ GPU。

生成中保证合法 JSON/XML/代码结构、用 Pydantic 模型做类型安全输出、支持本地模型（Transformers、vLLM）、用 Outlines（dottxt.ai 的结构化生成库）最大化推理速度。