NeMo Curator 数据策展
Orchestra-Research/AI-Research-SKILLs/05-data-processing/nemo-curator
平台通用（跨宿主）
GPU 加速的 LLM 训练数据策展。支持文本/图像/视频/音频。特性：模糊去重（快 16×）、质量过滤（30+ 启发）、语义去重、PII 脱敏、NSFW 检测。经 RAPIDS 跨 GPU 扩展。准备高质量训练集、清洗 web 数据、或去重大语料时使用。
Orchestra-Research/AI-Research-SKILLs/05-data-processing/nemo-curator
GPU 加速的 LLM 训练数据策展。支持文本/图像/视频/音频。特性：模糊去重（快 16×）、质量过滤（30+ 启发）、语义去重、PII 脱敏、NSFW 检测。经 RAPIDS 跨 GPU 扩展。准备高质量训练集、清洗 web 数据、或去重大语料时使用。