共 3 个 skill · 数据来自 GitHub 与精选合集,每日更新
NousResearch/hermes-agent/optional-skills/mlops/evaluation/evaluating-llms-harness
用 lm-eval-harness 给大模型跑基准(MMLU、GSM8K 等)。
Orchestra-Research/AI-Research-SKILLs/11-evaluation/lm-evaluation-harness
跨 60+ 学术基准(MMLU、HumanEval、GSM8K、TruthfulQA、HellaSwag)评估 LLM。基准模型质量、比较模型、报告学术结果、或追踪训练进度时使用。EleutherAI、HuggingFace、各大实验室用的行业标准。支持 HuggingFace、vLLM、API。
Orchestra-Research/AI-Research-SKILLs/11-evaluation/nemo-evaluator
跨 100+ 基准(来自 18+ harness,含 MMLU、HumanEval、GSM8K、安全、VLM)多后端执行评估 LLM。需在本地 Docker、Slurm HPC、或云平台可扩展评估时使用。NVIDIA 企业级平台,容器优先架构做可复现基准。