RWKV 架构
Orchestra-Research/AI-Research-SKILLs/01-model-architecture/rwkv
平台通用(跨宿主)
RNN+Transformer 混合,推理 O(n)。线性时间、无限上下文、无 KV cache。像 GPT 训练(并行)、像 RNN 推理(顺序)。Linux Foundation AI 项目。用于 Windows、Office、NeMo 生产。RWKV-7(2025-03)。模型至 14B 参数。
Orchestra-Research/AI-Research-SKILLs/01-model-architecture/rwkv
RNN+Transformer 混合,推理 O(n)。线性时间、无限上下文、无 KV cache。像 GPT 训练(并行)、像 RNN 推理(顺序)。Linux Foundation AI 项目。用于 Windows、Office、NeMo 生产。RWKV-7(2025-03)。模型至 14B 参数。