共 2 个 skill · 数据来自 GitHub 与精选合集,每日更新
Orchestra-Research/AI-Research-SKILLs/01-model-architecture/mamba
状态空间模型,复杂度 O(n) 对 Transformer 的 O(n²)。推理快 5×、百万 token 序列、无 KV cache。带硬件感知的选择性 SSM。Mamba-1(d_state=16)与 Mamba-2(d_state=128,多头)。HuggingFace 上 130M-2.8B 模型。
Orchestra-Research/AI-Research-SKILLs/01-model-architecture/rwkv
RNN+Transformer 混合,推理 O(n)。线性时间、无限上下文、无 KV cache。像 GPT 训练(并行)、像 RNN 推理(顺序)。Linux Foundation AI 项目。用于 Windows、Office、NeMo 生产。RWKV-7(2025-03)。模型至 14B 参数。