它基于llama.cpp实现，本地CPU推理效率非常高（当然如果有GPU的话，推理效率会更高）, 还可以兼容 openai的接口。 本文将按照如下顺序介绍Ollama的使用方法~

cuda llama.cpp v1.17.1版本有问题，删除后，用v1.15.3就可以了，升级后报错

我电脑配置i7-11800H，ram 40G，3060 6G laptop显卡，想本地运行一下deepseek，遇到类似问题，即ollama运行deepseek 7b，8b尚可，而14b模型时候逐词输出太慢，而且只有CPU工 …

Lama glama（拉丁学名）=llama（西班牙语通用名），主要被印加人当驴子当驮兽，毛比较粗不怎么有价值，用来做毛毡；肉可以吃。现在白人又找到一个新的用途——当畜群守卫，这种生 …

llama.cpp：一个高效的机器学习推理库，其中实现了很多量化方法。 他的作者 @ggerganov 不喜欢写论文和教程文档，导致这个库的学习资料非常少，很多时候只能看代码。

如题，本地部署的话，14b的用16g显存显卡能用gpu跑吗，32b的用32g显存显卡能用gpu跑吗？

比如llama的参数量为7000559616，那么全精度加载这个模型参数需要的显存为： 7000559616 * 4 /1024/1024/1024 = 26.08G 这个数字就有点尴尬，专注游戏的Geforce系列最高只有24G，运行 …

Llama 3 70B 到底好不好用呢？ 我第一时间就做了测试。 顺便说一下，目前能够使用 Llama 3 70B 对话的地方很多，包括但不限于 Meta 官方的 meta.ai，Huggingface 的 …

2.LLama 1代是曾经最好的开源大模型，从使用热度，开源生态，用户口碑全方位碾压其他的模型，LLama 2改进了它。 我们先说第一个，失败的经验和找diff是技术人员最希望看到的东西，diff …

Apr 29, 2025 · 对于本地开发和实验，用户可以使用Ollama、LMStudio、MLX、llama.cpp和KTransformers等工具进行便捷集成和使用。 QWen团队提供了详细的Python代码示例，演示 …