全部 skill

清洗大模型训练数据：去重、过滤与 PII 脱敏。

GPU 加速的 LLM 训练数据策展。支持文本/图像/视频/音频。特性：模糊去重（快 16×）、质量过滤（30+ 启发）、语义去重、PII 脱敏、NSFW 检测。经 RAPIDS 跨 GPU 扩展。准备高质量训练集、清洗 web 数据、或去重大语料时使用。