llama.cpp

CPU/GPU 本地推理

AI 模型与平台有免费版海外产品★★★★☆ 4.0

llama.cpp 是什么

llama.cpp 用 C/C++ 在各类硬件上高效运行 LLM,含量化。

信息更新时间:2026-09-20。本站仅提供工具索引,具体功能、价格与授权请以 官方网站 公示为准。

核心功能

  • 本地
  • 量化
  • 跨平台
  • 开源

优点与不足

优势

  • 高效
  • 开源

需要注意

  • 技术向
  • 编译

适用人群与场景

本地部署

如果你正在对比同类产品,可以看看下方推荐的替代工具,或直接浏览 AI 模型与平台 分类下的全部工具。

常见问题

开源吗?

开源。

要 GPU 吗?

CPU 也可。