共 10 个 skill · 数据来自 GitHub 与精选合集,每日更新
NousResearch/hermes-agent/optional-skills/mlops/evaluation/evaluating-llms-harness
用 lm-eval-harness 给大模型跑基准(MMLU、GSM8K 等)。
sickn33/agentic-awesome-skills/skills/ai-engineering-toolkit
6 个生产级 AI 工程工作流:提示评估(8 维评分)、上下文预算规划、RAG 流水线设计、agent 安全审计(65 点检查表)、eval 脚手架构建、产品感教练。
sickn33/agentic-awesome-skills/skills/run-deep-swe
经 OpenRouter 与 mini-swe-agent 运行可复现的 DeepSWE 编码 agent 基准评测。
sickn33/agentic-awesome-skills/skills/uxui-principles
依据 168 条研究支撑的 UX/UI 原则评估界面、检测反模式,并将 UX 上下文注入 AI 编码会话。
Orchestra-Research/AI-Research-SKILLs/11-evaluation/bigcode-evaluation-harness
跨 HumanEval、MBPP、MultiPL-E 与 15+ 基准用 pass@k 指标评估代码生成模型。基准代码模型、比较编码能力、测多语言支持、或衡量代码生成质量时使用。BigCode Project 的行业标准,被 HuggingFace 榜单使用。
Orchestra-Research/AI-Research-SKILLs/11-evaluation/lm-evaluation-harness
跨 60+ 学术基准(MMLU、HumanEval、GSM8K、TruthfulQA、HellaSwag)评估 LLM。基准模型质量、比较模型、报告学术结果、或追踪训练进度时使用。EleutherAI、HuggingFace、各大实验室用的行业标准。支持 HuggingFace、vLLM、API。
Orchestra-Research/AI-Research-SKILLs/11-evaluation/nemo-evaluator
跨 100+ 基准(来自 18+ harness,含 MMLU、HumanEval、GSM8K、安全、VLM)多后端执行评估 LLM。需在本地 Docker、Slurm HPC、或云平台可扩展评估时使用。NVIDIA 企业级平台,容器优先架构做可复现基准。
Orchestra-Research/AI-Research-SKILLs/17-observability/langsmith
LLM 可观测性平台,做追踪、评估、监控。调试 LLM 应用、对数据集评估模型输出、监控生产系统、或构建 AI 应用系统化测试管线时使用。
Orchestra-Research/AI-Research-SKILLs/17-observability/phoenix
开源 AI 可观测性平台,做 LLM 追踪、评估、监控。用详细追踪调试 LLM 应用、对数据集跑评估、或实时洞察监控生产 AI 系统时使用。
Orchestra-Research/AI-Research-SKILLs/18-multimodal/cosmos-policy
在 LIBERO 与 RoboCasa 仿真环境评估 NVIDIA Cosmos Policy。为机器人操作评估搭建 cosmos-policy、用 EGL 渲染跑无头 GPU 评估、或在集群/本地 GPU 机器剖析推理延迟时使用。