共 20 个 skill · 数据来自 GitHub 与精选合集,每日更新
NousResearch/hermes-agent/optional-skills/mlops/stable-diffusion
文生图、局部重绘与图生图。
NousResearch/hermes-agent/optional-skills/mlops/nemo-curator
清洗大模型训练数据:去重、过滤与 PII 脱敏。
NousResearch/hermes-agent/optional-skills/mlops/models/segment-anything-model
SAM:通过点、框或掩码做零样本图像分割。
NousResearch/hermes-agent/optional-skills/creative/audiocraft-audio-generation
AudioCraft:MusicGen 文生音乐,AudioGen 文生音效。
NousResearch/hermes-agent/optional-skills/mlops/whisper
Transcribe and translate speech in 99 languages.EN
NousResearch/hermes-agent/optional-skills/mlops/training/axolotl
Axolotl: YAML LLM fine-tuning (LoRA, DPO, GRPO).EN
NousResearch/hermes-agent/optional-skills/mlops/llava
Vision-language chat: VQA, captioning, image dialogue.EN
NousResearch/hermes-agent/optional-skills/mlops/clip
Zero-shot image classification and image-text search.EN
Orchestra-Research/AI-Research-SKILLs/03-fine-tuning/axolotl
Axolotl 微调 LLM 专家指引——YAML 配置、100+ 模型、LoRA/QLoRA、DPO/KTO/ORPO/GRPO、多模态支持。
Orchestra-Research/AI-Research-SKILLs/18-multimodal/whisper
OpenAI 的通用语音识别模型。支持 99 种语言、转写、翻译为英文、语言识别。六种规模从 tiny(39M)到 large(1550M)。用于语音转文本、播客转录、或多语言音频处理。最适合鲁棒多语言 ASR。
Orchestra-Research/AI-Research-SKILLs/18-multimodal/llava
大型语言与视觉助手。支持视觉指令微调与基于图像的对话。结合 CLIP 视觉编码器与 Vicuna/LLaMA 语言模型。支持多轮图像聊天、视觉问答、指令跟随。用于视觉语言聊天机器人或图像理解任务。最适合对话式图像分析。
Orchestra-Research/AI-Research-SKILLs/18-multimodal/clip
OpenAI 连接视觉与语言的模型。支持零样本图像分类、图文匹配、跨模态检索。在 4 亿图文对上训练。用于图像搜索、内容审核、或无需微调的视觉语言任务。最适合通用图像理解。
Orchestra-Research/AI-Research-SKILLs/15-rag/sentence-transformers
最先进句/文/图嵌入框架。提供 5000+ 预训练模型做语义相似、聚类、检索。支持多语言、领域、多模态模型。用于 RAG、语义搜索、相似任务的嵌入生成。最适合生产嵌入生成。
Orchestra-Research/AI-Research-SKILLs/03-fine-tuning/llama-factory
LLaMA-Factory 微调 LLM 专家指引——WebUI 无代码、100+ 模型、2/3/4/5/6/8-bit QLoRA、多模态支持。
Orchestra-Research/AI-Research-SKILLs/18-multimodal/stable-diffusion
经 HuggingFace Diffusers 用 Stable Diffusion 模型的 SOTA 文生图。从文本提示生成图像、做图生图、修补、或构建自定义扩散管线时使用。
Orchestra-Research/AI-Research-SKILLs/18-multimodal/segment-anything
带零样本迁移的图像分割基础模型。需用点/框/掩码作提示分割图中任意对象、或自动生成图中所有对象掩码时使用。
Orchestra-Research/AI-Research-SKILLs/18-multimodal/blip-2
桥接冻结图像编码器与 LLM 的视觉语言预训练框架。需图像描述、视觉问答、图文检索、或带 SOTA 零样本性能的多模态聊天时使用。
Orchestra-Research/AI-Research-SKILLs/18-multimodal/audiocraft
含文生音乐(MusicGen)与文生音效(AudioGen)的音频生成 PyTorch 库。需从文本描述生成音乐、创建音效、或旋律条件音乐生成时使用。
Orchestra-Research/AI-Research-SKILLs/14-agents/llamaindex
用 RAG 构建 LLM 应用的数据框架。专长文档摄入(300+ 连接器)、索引、查询。特性:向量索引、查询引擎、agent、多模态支持。用于文档问答、聊天机器人、知识检索、或构建 RAG 管线。最适合数据中心 LLM 应用。
Orchestra-Research/AI-Research-SKILLs/05-data-processing/nemo-curator
GPU 加速的 LLM 训练数据策展。支持文本/图像/视频/音频。特性:模糊去重(快 16×)、质量过滤(30+ 启发)、语义去重、PII 脱敏、NSFW 检测。经 RAPIDS 跨 GPU 扩展。准备高质量训练集、清洗 web 数据、或去重大语料时使用。