共 1 个 skill · 数据来自 GitHub 与精选合集,每日更新
Orchestra-Research/AI-Research-SKILLs/12-inference-serving/llama-cpp
在 CPU、Apple Silicon、消费 GPU 上跑 LLM 推理,无需 NVIDIA 硬件。用于边缘部署、M1/M2/M3 Mac、AMD/Intel GPU、或 CUDA 不可用时。支持 GGUF 量化(1.5-8 bit)减内存、比 PyTorch CPU 快 4-10×。