Mamba 架构
Orchestra-Research/AI-Research-SKILLs/01-model-architecture/mamba
平台通用(跨宿主)
状态空间模型,复杂度 O(n) 对 Transformer 的 O(n²)。推理快 5×、百万 token 序列、无 KV cache。带硬件感知的选择性 SSM。Mamba-1(d_state=16)与 Mamba-2(d_state=128,多头)。HuggingFace 上 130M-2.8B 模型。
Orchestra-Research/AI-Research-SKILLs/01-model-architecture/mamba
状态空间模型,复杂度 O(n) 对 Transformer 的 O(n²)。推理快 5×、百万 token 序列、无 KV cache。带硬件感知的选择性 SSM。Mamba-1(d_state=16)与 Mamba-2(d_state=128,多头)。HuggingFace 上 130M-2.8B 模型。