共 4 个 skill · 数据来自 GitHub 与精选合集,每日更新
Orchestra-Research/AI-Research-SKILLs/07-safety-alignment/nemo-guardrails
NVIDIA 的 LLM 应用运行时安全框架。特性:越狱检测、输入/输出验证、事实核查、幻觉检测、PII 过滤、毒性检测。用 Colang 2.0 DSL 写可编程护栏。生产就绪,跑在 T4 GPU。
Orchestra-Research/AI-Research-SKILLs/07-safety-alignment/constitutional-ai
Anthropic 经自我改进训练无害 AI 的方法。两阶段——带自批判/修订的监督学习,然后 RLAIF(RL from AI Feedback)。用于安全对齐、无需人类标注减少有害输出。驱动 Claude 的安全系统。
Orchestra-Research/AI-Research-SKILLs/07-safety-alignment/llamaguard
Meta 的 7-8B 专用审核模型,过滤 LLM 输入/输出。6 类安全——暴力/仇恨、性内容、武器、物质、自残、犯罪策划。准确率 94-95%。用 vLLM、HuggingFace、Sagemaker 部署。与 NeMo Guardrails 集成。
Orchestra-Research/AI-Research-SKILLs/07-safety-alignment/prompt-guard
Meta 的 86M 提示注入与越狱检测器。为 LLM 应用过滤恶意提示与第三方数据。TPR 99%+、FPR <1%。快(<2ms GPU)。多语言(8 种)。用 HuggingFace 或批量处理做 RAG 安全。