全部 skill

清洗大模型训练数据：去重、过滤与 PII 脱敏。

ML 负载的可扩展数据处理。跨 CPU/GPU 流式执行，支持 Parquet/CSV/JSON/图像。与 Ray Train、PyTorch、TensorFlow 集成。从单机扩到数百节点。批量推理、数据预处理、多模态加载、或分布式 ETL 管线时使用。

GPU 加速的 LLM 训练数据策展。支持文本/图像/视频/音频。特性：模糊去重（快 16×）、质量过滤（30+ 启发）、语义去重、PII 脱敏、NSFW 检测。经 RAPIDS 跨 GPU 扩展。准备高质量训练集、清洗 web 数据、或去重大语料时使用。