共 2 个 skill · 数据来自 GitHub 与精选合集,每日更新
Orchestra-Research/AI-Research-SKILLs/02-tokenization/huggingface-tokenizers
面向研究与生产优化的快速分词器。Rust 实现 1GB <20 秒完成分词。支持 BPE、WordPiece、Unigram。训练自定义词表、追踪对齐、处理填充/截断。与 transformers 无缝集成。需高性能分词或自定义分词器训练时使用。
a5c-ai/babysitter/library/specializations/desktop-development/skills/tauri-project-setup
用 Rust 后端与前端框架集成初始化 Tauri 项目。