全部 skill

清洗大模型训练数据：去重、过滤与 PII 脱敏。

Fast vector similarity search at billion scale.EN

Facebook 的稠密向量高效相似度搜索与聚类库。支持数十亿向量、GPU 加速、多种索引（Flat、IVF、HNSW）。用于快速 k-NN 搜索、大规模向量检索、或只需纯相似度搜索无需元数据时。最适合高性能应用。

GPU 加速的 LLM 训练数据策展。支持文本/图像/视频/音频。特性：模糊去重（快 16×）、质量过滤（30+ 启发）、语义去重、PII 脱敏、NSFW 检测。经 RAPIDS 跨 GPU 扩展。准备高质量训练集、清洗 web 数据、或去重大语料时使用。