全部 skill

加速长序列 Transformer 的训练与推理。

免费——AI agent 的顶级长上下文记忆：注入 50 万-100 万干净 token，自动摘要并保留语气/意图，将 14 轮历史压缩为 800 token。

状态空间模型，复杂度 O(n) 对 Transformer 的 O(n²)。推理快 5×、百万 token 序列、无 KV cache。带硬件感知的选择性 SSM。Mamba-1（d_state=16）与 Mamba-2（d_state=128，多头）。HuggingFace 上 130M-2.8B 模型。

用 Flash Attention 优化 transformer 注意力，2-4× 加速、10-20× 省内存。训练/跑长序列（>512 token）transformer、注意力遇 GPU 内存问题、或需更快推理时使用。支持 PyTorch 原生 SDPA、flash-attn 库、H100 FP8、滑动窗口注意力。

用 RoPE、YaRN、ALiBi、位置插值技术扩展 transformer 上下文窗口。处理长文档（32k-128k+ token）、把预训练模型扩展到原上下文限制外、或实现高效位置编码时使用。覆盖旋转嵌入、注意力偏置、插值法、LLM 外推策略。