全部 skill

用尽可能少的改动，让 PyTorch 训练跑在多张 GPU 上。

W&B：记录机器学习实验、跑超参搜索、管理模型注册表与看板。

加速长序列 Transformer 的训练与推理。

Fully sharded data-parallel training for large models.EN

ML 负载的可扩展数据处理。跨 CPU/GPU 流式执行，支持 Parquet/CSV/JSON/图像。与 Ray Train、PyTorch、TensorFlow 集成。从单机扩到数百节点。批量推理、数据预处理、多模态加载、或分布式 ETL 管线时使用。

用 torchforge（Meta 把基础设施与算法分离的库）做 PyTorch 原生 agentic RL 指引。想要干净 RL 抽象、易算法实验、或用 Monarch 与 TorchTitan 可扩展训练时使用。

跨集群的分布式训练编排。把 PyTorch/TensorFlow/HuggingFace 从笔记本扩到数千节点。内置 Ray Tune 超参调优、容错、弹性扩展。多机训练大模型、或跑分布式超参扫描时使用。

给训练脚本加 PyTorch FSDP2（fully_shard），含正确初始化、分片、混合精度/卸载配置、分布式检查点。模型超单卡内存、或需基于 DTensor 的 DeviceMesh 分片时使用。

最简单的分布式训练 API。4 行给任意 PyTorch 脚本加分布式支持。DeepSpeed/FSDP/Megatron/DDP 统一 API。自动设备放置、混合精度（FP16/BF16/FP8）。交互式配置、单启动命令。HuggingFace 生态标准。

用 Flash Attention 优化 transformer 注意力，2-4× 加速、10-20× 省内存。训练/跑长序列（>512 token）transformer、注意力遇 GPU 内存问题、或需更快推理时使用。支持 PyTorch 原生 SDPA、flash-attn 库、H100 FP8、滑动窗口注意力。

全领域的实战 PyTorch 训练配方——LLM、视觉、扩散、医学影像、蛋白/药物发现、空间组学、基因组学。覆盖训练循环、优化器选择（AdamW、Muon）、LR 调度、混合精度、调试、系统化实验。训练或微调神经网络、调试 loss 尖峰或 OOM、选架构、或优化 GPU 吞吐时使用。

用 MLflow 追踪 ML 实验、管理带版本的模型注册、部署到生产、复现实验——框架无关的 ML 生命周期平台。

SwanLab 实验追踪指引。需开源运行追踪、本地或自托管仪表盘、ML 工作流轻量媒体日志时使用。

用 TensorBoard（Google 的 ML 可视化工具包）可视化训练指标、用直方图调试模型、比较实验、可视化模型图、剖析性能。

用 W&B 自动日志追踪 ML 实验、实时可视化训练、用 sweeps 优化超参、管理模型注册——协作式 MLOps 平台。

用 JAX 或 PyTorch 后端微调并服务 Physical Intelligence OpenPI 模型（pi0、pi0-fast、pi0.5），跨 ALOHA、DROID、LIBERO 环境做机器人策略推理。把 pi0 模型适配自定义数据集、JAX 检查点转 PyTorch、跑策略推理服务器、或调试 norm 统计与 GPU 内存问题使用。