llama.cpp 与 ggml 发布 v1.0.0:今后公开 C API 的破坏性变更都升主版本号
本地推理最常用的底座给出了稳定的 API 承诺。这一条讲版本规则、模型覆盖和分发渠道,适合把 libllama 打进自家应用的团队。
// 要点
- libllama(llama.cpp)与 libggml(ggml)同时发布 v1.0.0;今后 API 与 ABI 不兼容的改动都通过主版本号体现。
- 版本规则:./include 下公开 C API 的破坏性变更升 MAJOR;向后兼容的新功能、后端更新与新模型支持升 MINOR;不改 API 的修复升 PATCH。
- 目前支持 150 多种模型架构变体以及所有主流的投机解码方法。
- 分发渠道包括 Docker、Debian、Homebrew、conda-forge、MacPorts、Winget 和 iOS / macOS 的 XCFramework;CI 有 NVIDIA、AMD、Qualcomm、Arm、IBM、Intel 提供的自托管硬件。
开发者视角这件事的意义不在新功能,而在「可以放心依赖」:以前把 libllama 打进桌面或移动应用,每次升级都要重新对接口。我的做法是锁定 1.x、放开 MINOR 自动升级,像 AI 云盘这类想在本地做文件理解的场景,现在可以认真评估离线方案了。