SentencePiece 分词

语言无关、把文本当原始 Unicode 的分词器。支持 BPE 与 Unigram。快（5 万句/秒）、轻（6MB 内存）、确定性词表。被 T5、ALBERT、XLNet、mBART 使用。无需预分词在原始文本训练。需多语言支持、CJK 语言、或可复现分词时使用。