前言
之前在本地部署离线运行的大模型时，不仅需要手动下载模型文件，还需要配置复杂的运行环境，例如安装显卡CUDA工具包以及各种依赖库。整个过程耗时耗力，即使对于经验丰富的开发者来说也显得繁琐。然而，随着Ollama的出现，这一切变得简单高效。Ollama 就像是大模型领域的 Docker，只需一条命令即可在本地轻松运行模型，极大地简化了部署流程。本文将简单介绍如何在 Windows系统上通过Ollama和Open WebUI实现大模型的本地部署。
Ollama
一、介绍
Ollama 是一个开源项目，旨在简化大型语言模型的本地部署和使用。它为本地部署和运行大型语言模型（LLMs）提供了一种简便、高效的方式。
二、安装
2-1. 官网下载Ollama：
2-2. 安装Ollama：Windows默认安装到C盘，而且
模型的下载位置也默认在C盘。这很操蛋....不过Windows、MacOS、Linux都可以修改模型下载路径，本文只讲Windows修改，其他系统可以百度一下。在系统环境变量中新建系统变量，变量名：OLLAMA_MODELS，变量值为自己创建的目录路径，例如（我的）：G:\ollama\models。设置完之后一定要重启Ollama，不然下载的模型还是到C盘里，在托盘区中有Ollama的图标，先右键退出，然后再应用搜索框里搜索Ollama打开应用就行。
2-3. 检验是否安装成功，在cmd命令里输入下面命令，输出相关版本信息就说明安装成功。
ollama --version
2-4. 下载模型：到官网“MODES”里搜索适合自己主机配置的模型，尽量下载小一点的模型，先进行测试。比如本文下载：llama3.2-vision，复制页面中提供的命令（如ollama run llama3.2-vision），直接粘贴在命令行里，等待进度条跑完。
如果发现最后进度条到最后1%，很慢，可以Ctrl+C取消掉，重新执行下载命令，下载会从中断处继续，速度也会有所提升，正常情况下不会重新跑进度条。
2-5. Ollama 的 API 默认在后台自动运行，并通过 http://localhost:11434 提供服务。工具和应用程序可以直接连接该地址，无需任何额外配置，极大简化了集成和使用流程。
Open WebUI
一、介绍
Open WebUI 是一个仿照ChatGPT界面设计的开源项目，专为本地大语言模型提供图形化操作界面。它能够轻松连接本地的大语言模型（如 Ollama 和 OpenAI 兼容的 API），同时也支持远程服务器部署。通过 Docker 部署非常简单，功能丰富多样，包括代码高亮、数学公式渲染、网页浏览、预设提示词、本地 RAG 集成、对话标记、模型下载、聊天记录管理以及语音支持等，极大地提升了本地模型的调试与调用体验。
二、安装
2-1. Open WebUI官网文档：
2-2. 因为我用的是Windows11系统，不想用docker部署，因此简单的使用conda创建一个python3.11版本的虚拟环境来部署使用，强烈推荐使用docker来部署OpenWebUI，具体可以看官方文档、百度，这里不赘述，如果你也想用conda来部署，可以运行下面命令。
# 创建虚拟环境
conda create --name OpenWebUI python=3.11
# 激活虚拟环境
conda activate OpenWebUI
# 部署OpenWebUI
pip install open-webui
# 运行OpenWebUI
open-webui serve2-3. 在浏览器中访问http://localhost:8080，首次使用需要注册账号。登录后，你可以在右上角选择 Ollama 安装的模型，也可以通过 OpenAI API 连接外部模型，比如：deepseek、openai等等。选择模型后，即可开始愉快的聊天体验！
总结
本文主要简单的记录了我使用Ollama和Open WebUI在本地电脑上部署和体验大模型的过程。通过 Ollama 的便捷模型管理和 Open WebUI 的友好交互界面，即使是初学者也能轻松上手，快速实现本地大模型的运行。希望这篇指南能为想要尝试本地 AI 部署的开发者提供帮助，让大家能够更高效地探索大模型的潜力。如果你在部署过程中遇到问题，欢迎参考官方文档或社区资源，获取更多支持。
暂无评论