共 5 个 skill · 数据来自 GitHub 与精选合集,每日更新
NousResearch/hermes-agent/optional-skills/mlops/evaluation/evaluating-llms-harness
用 lm-eval-harness 给大模型跑基准(MMLU、GSM8K 等)。
sickn33/agentic-awesome-skills/skills/agent-evaluation-reporting
汇总 agent 评估时,将自治、辅助、失败、超时或无效结果保持可区分且可比。
Orchestra-Research/AI-Research-SKILLs/11-evaluation/bigcode-evaluation-harness
跨 HumanEval、MBPP、MultiPL-E 与 15+ 基准用 pass@k 指标评估代码生成模型。基准代码模型、比较编码能力、测多语言支持、或衡量代码生成质量时使用。BigCode Project 的行业标准,被 HuggingFace 榜单使用。
Orchestra-Research/AI-Research-SKILLs/11-evaluation/lm-evaluation-harness
跨 60+ 学术基准(MMLU、HumanEval、GSM8K、TruthfulQA、HellaSwag)评估 LLM。基准模型质量、比较模型、报告学术结果、或追踪训练进度时使用。EleutherAI、HuggingFace、各大实验室用的行业标准。支持 HuggingFace、vLLM、API。
Orchestra-Research/AI-Research-SKILLs/11-evaluation/nemo-evaluator
跨 100+ 基准(来自 18+ harness,含 MMLU、HumanEval、GSM8K、安全、VLM)多后端执行评估 LLM。需在本地 Docker、Slurm HPC、或云平台可扩展评估时使用。NVIDIA 企业级平台,容器优先架构做可复现基准。