全部 skill

高速的 BPE/WordPiece 分词，以及自定义词表训练。

语言无关、把文本当原始 Unicode 的分词器。支持 BPE 与 Unigram。快（5 万句/秒）、轻（6MB 内存）、确定性词表。被 T5、ALBERT、XLNet、mBART 使用。无需预分词在原始文本训练。需多语言支持、CJK 语言、或可复现分词时使用。

面向研究与生产优化的快速分词器。Rust 实现 1GB <20 秒完成分词。支持 BPE、WordPiece、Unigram。训练自定义词表、追踪对齐、处理填充/截断。与 transformers 无缝集成。需高性能分词或自定义分词器训练时使用。