共 8 个 skill · 数据来自 GitHub 与精选合集,每日更新
NousResearch/hermes-agent/optional-skills/mlops/inference/llama-cpp
llama.cpp 本地 GGUF 推理,并从 HuggingFace Hub 发现模型。
NousResearch/hermes-agent/optional-skills/mlops/nemo-curator
清洗大模型训练数据:去重、过滤与 PII 脱敏。
NousResearch/hermes-agent/optional-skills/mlops/tensorrt-llm
High-throughput LLM inference on NVIDIA GPUs.EN
Orchestra-Research/AI-Research-SKILLs/07-safety-alignment/nemo-guardrails
NVIDIA 的 LLM 应用运行时安全框架。特性:越狱检测、输入/输出验证、事实核查、幻觉检测、PII 过滤、毒性检测。用 Colang 2.0 DSL 写可编程护栏。生产就绪,跑在 T4 GPU。
Orchestra-Research/AI-Research-SKILLs/12-inference-serving/tensorrt-llm
用 NVIDIA TensorRT 优化 LLM 推理达最大吞吐与最低延迟。在 NVIDIA GPU(A100/H100)生产部署、需比 PyTorch 快 10-100× 的推理、或用量化(FP8/INT4)、在途批处理、多 GPU 扩展服务模型时使用。
Orchestra-Research/AI-Research-SKILLs/05-data-processing/nemo-curator
GPU 加速的 LLM 训练数据策展。支持文本/图像/视频/音频。特性:模糊去重(快 16×)、质量过滤(30+ 启发)、语义去重、PII 脱敏、NSFW 检测。经 RAPIDS 跨 GPU 扩展。准备高质量训练集、清洗 web 数据、或去重大语料时使用。
Orchestra-Research/AI-Research-SKILLs/08-distributed-training/megatron-core
用 NVIDIA Megatron-Core 高级并行策略训练大模型(2B-462B 参数)。训练 >1B 参数模型、需最大 GPU 效率(H100 上 47% MFU)、或需张量/流水线/序列/上下文/专家并行时使用。Nemotron、LLaMA、DeepSeek 用的生产框架。
Orchestra-Research/AI-Research-SKILLs/11-evaluation/nemo-evaluator
跨 100+ 基准(来自 18+ harness,含 MMLU、HumanEval、GSM8K、安全、VLM)多后端执行评估 LLM。需在本地 Docker、Slurm HPC、或云平台可扩展评估时使用。NVIDIA 企业级平台,容器优先架构做可复现基准。