全部 skill

状态空间模型，复杂度 O(n) 对 Transformer 的 O(n²)。推理快 5×、百万 token 序列、无 KV cache。带硬件感知的选择性 SSM。Mamba-1（d_state=16）与 Mamba-2（d_state=128，多头）。HuggingFace 上 130M-2.8B 模型。

RNN+Transformer 混合，推理 O(n)。线性时间、无限上下文、无 KV cache。像 GPT 训练（并行）、像 RNN 推理（顺序）。Linux Foundation AI 项目。用于 Windows、Office、NeMo 生产。RWKV-7（2025-03）。模型至 14B 参数。

把 LLM 量化为 8-bit 或 4-bit，省 50-75% 内存且精度损失极小。GPU 内存有限、需装更大模型、或想更快推理时使用。支持 INT8、NF4、FP4 格式、QLoRA 训练、8-bit 优化器。与 HuggingFace Transformers 配合。