llama.cpp 推理
Orchestra-Research/AI-Research-SKILLs/12-inference-serving/llama-cpp
平台通用（跨宿主）
在 CPU、Apple Silicon、消费 GPU 上跑 LLM 推理，无需 NVIDIA 硬件。用于边缘部署、M1/M2/M3 Mac、AMD/Intel GPU、或 CUDA 不可用时。支持 GGUF 量化（1.5-8 bit）减内存、比 PyTorch CPU 快 4-10×。
Orchestra-Research/AI-Research-SKILLs/12-inference-serving/llama-cpp
在 CPU、Apple Silicon、消费 GPU 上跑 LLM 推理，无需 NVIDIA 硬件。用于边缘部署、M1/M2/M3 Mac、AMD/Intel GPU、或 CUDA 不可用时。支持 GGUF 量化（1.5-8 bit）减内存、比 PyTorch CPU 快 4-10×。