HuggingFace Tokenizers

面向研究与生产优化的快速分词器。Rust 实现 1GB <20 秒完成分词。支持 BPE、WordPiece、Unigram。训练自定义词表、追踪对齐、处理填充/截断。与 transformers 无缝集成。需高性能分词或自定义分词器训练时使用。