推测解码
Orchestra-Research/AI-Research-SKILLs/19-emerging-techniques/speculative-decoding
平台通用（跨宿主）
用推测解码、Medusa 多头、前瞻解码技术加速 LLM 推理。优化推理速度（1.5-3.6× 加速）、降实时应用延迟、或在有限算力部署模型时使用。覆盖草稿模型、树状注意力、Jacobi 迭代、并行 token 生成、生产部署策略。
Orchestra-Research/AI-Research-SKILLs/19-emerging-techniques/speculative-decoding
用推测解码、Medusa 多头、前瞻解码技术加速 LLM 推理。优化推理速度（1.5-3.6× 加速）、降实时应用延迟、或在有限算力部署模型时使用。覆盖草稿模型、树状注意力、Jacobi 迭代、并行 token 生成、生产部署策略。