Mamba 架构

Orchestra-Research/AI-Research-SKILLs/01-model-architecture/mamba

12.1k 0TeX研究
平台通用(跨宿主)

状态空间模型,复杂度 O(n) 对 Transformer 的 O(n²)。推理快 5×、百万 token 序列、无 KV cache。带硬件感知的选择性 SSM。Mamba-1(d_state=16)与 Mamba-2(d_state=128,多头)。HuggingFace 上 130M-2.8B 模型。

全部 skill