随着Ollama宣布现在可以立即运行HuggingFace GGUF模型，免费开源模型市场变得更加有趣。GGUF（GPT生成的统一格式）模型格式是由开源AI社区创建的一种高度优化的文件设计，允许在普通消费硬件上使用。传统的AI模型需要大型计算机、强大的处理器和大量内存。通过将模型压缩为单个GGUF文件，用户可以轻松通过互联网下载，并且可以在几乎任何不错的家用计算机上运行。更重要的是，非技术用户也可以安装和运行这些模型。
之前，模型必须首先通过Ollama库提供，才能在笔记本电脑上运行和下载。这次更新使整个过程更加简便，HuggingFace表示将进一步简化这一流程。
GGUF格式为何如此重要？
?? 你现在可以在Hugging Face上使用Ollama运行模型。让我们一起支持开源和Ollama！ ??????
October 16, 2024
可以说，除了Meta发布的LlaMA模型系列外，GGUF格式几乎是最近所有发展中最有助于增加开源AI的受欢迎度和可用性的技术之一。目前在HuggingFace上存储有超过500个GGUF模型文件，涵盖从图像生成到多语言聊天模型等各类内容。
要使用该格式，用户通常需要下载自己选择的GGUF模型，并按照其软件客户端安装说明进行操作。
不过，由HuggingFace提供的这一新选项更进一步——只要你的机器上已经安装了Ollama。
如何使用Ollama运行GGUF模型？
只需在HuggingFace上找到所需的模型，点击页面右上角的“使用此模型”按钮，然后选择Ollama。这将弹出一个窗口，其中包含用于复制的模型URL地址。在Windows上，进入搜索栏，输入“cmd”并按回车键。当终端窗口出现时，粘贴你刚刚复制的URL（ctrl-V），再按一次回车。此时，Ollama会自动下载模型，准备就绪。这个过程在Mac上基本相同，只需将cmd替换为Terminal。
值得注意的是，这些GGUF文件还可以使用越来越多的用户客户端运行。一些最受欢迎的客户端包括Jan、LMStudio和Msty。该格式还得到了OpenWebUI聊天应用程序的支持。
开源AI模型的世界继续以惊人的速度发展，部分原因是这样的技术进展。越来越多的人发现，他们可以利用小型本地运行AI的强大功能和灵活性，而无需计算机科学学位。而且性能也在不断提升。例如，越来越多的用户社区使用本地GGUF模型来进行专业应用，如帮助家庭业务或帮助进行特定的语言翻译任务。看到开源在与风险资本支持的巨头公司竞争时继续繁荣，真是令人欣慰。