一、引言

目前市场上的 AI 大语言模型种类繁多，覆盖国内外各大厂商，既有开源模型，也有商业闭源模型，适合不同需求的用户。

国外比较主流的有 OpenAI的ChatGPT和Anthropic的Claude，包含免费和付费功能。国内主流的模型有百度的文心一言，专注中文场景，提供文案生成、代码辅助等功能；讯飞星火聚焦教育领域，提供更贴合教学和语言训练的能力；阿里通义千问专注企业级应用，适合电商、客户服务等场景。

国外开源的模型有: Llama（Meta）：支持高效推理和微调，受到开发者青睐。 Mistral：在多任务学习中性能突出，轻量级模型适合资源受限的硬件。 Falcon：优异的生成性能和灵活性。

国内开源模型： ChatGLM（清华大学与智谱合作）：针对中文优化，开源灵活，适合科研与本地化部署。 BLOOM（国际团队参与）：支持多语言生成，包括中文。

对于国内用户，由于某些众所周知的原因，像 ChatGPT 和 Claude 这样的国外模型可能无法直接使用。这使得本地部署 AI 大语言模型的优势尤为显著。

二、概念

本地部署 AI 大语言模型是指，将AI大语言模型存储和运行在用户自己的设备或服务器上，而不是使用云端服务（如ChatGPT）。这意味着数据处理、计算等任务都是在用户的本地主机上进行的，而不需要通过互联网连接到远程服务器。

本地部署 AI 模型有这几个优势：

  1. 数据隐私保护：本地部署无需上传数据到云端，适合对数据敏感的企业和个人，用户数据不需要上传到服务器，减少了数据泄露和滥用的风险。

  2. 成本可控：一次性投入硬件和模型微调，比长期订阅服务更具性价比。

  3. 定制化：本地部署支持模型微调，能根据行业需求优化性能，如医疗、法律等领域的垂直应用。组织或个人对模型有完全的控制权，可以根据自身需求进行调整，甚至可以开发自己的业务逻辑。

  4. 不依赖网络。无需依赖外网，规避访问受限或中断的风险，无论是Wi-F还是网络限制，都不会对模型性能造成影响。

但是本地部署也有一定的限制，主要是对用户的主机资源有一定要求。目前主流的大语言模型，基本都需要电脑至少有 8 GB 的内存，但目前的个人PC配置，一般都可以满足。

三、OLLAMA + OpenWeb UI

1. Ollama简介

  • 特点：专注于简单的本地化部署，支持一键运行多种模型，尤其是 Llama 系列模型。

  • 易用性：提供用户友好的界面，无需复杂配置，即可快速启动和管理本地 LLM。

  • 推荐场景：个人开发者或小团队需要快速测试或部署模型时使用。

  • 优势：支持多种大模型，提供命令行界面和简单的API接口。适合喜欢使用命令行工具进行操作的用户。

  • 劣势：可能缺乏直观的图形用户界面（GUI），对于新手来说可能不太友好。

适合极简部署

  • 集成式工具，省去配置繁琐环境的麻烦。
  • 内置多种预训练模型，降低模型准备的门槛。

2.下载Ollama客户端

前往官网https://ollama.com/

网站简洁，点击下载，选择自己对应的系统，一路安装到底。

安装完后，电脑右下角会有一个小羊驼的标志，说明已经成功运行了。需要注意的是，Ollama默认是开机自动启用的，如果想关掉，需要去开机项修改下。

3. 大语言模型

回到 Ollama 的官网，点击右上方的模型（Models），里面基本涵盖了目前开源的主流大模型，比如 Meta 的 llama3.2，阿里云的千问（qwen2.5），谷歌的 Gemma2，以及李开复团队研发的新 AI 大模型 Yi等。

以 llama3.2 为例，点进去，然后复制右侧的代码。 llama3.2

这里需要注意，默认的模型参数一般是比较合适的，llama3.2比较小，这里的 3b 模型大概是 2.0 GB，1b是1.3GB，如果是llama3.2-vision，下载11b需要7.9GB,90b需要55GB，普通电脑带不起来，这里就按默认的下载即可。

打开电脑的终端，如果是Window系统，话按 Win+R，然后输入 cmd 按回车。

把上面代码粘帖进去，直接运行，就可以开始下载大模型到电脑里。

下载好之后，你就可以在命令行里开始和 AI 大模型对话了. 有几个比较常用的命令。

第一个，查看目前你所有的模型。

## [1] "Ollama list"

第二个，更新模型。

## [1] "ollama pull llama3.2"

到这里，已经可以开始和 AI 对话了。

但是，在命令行的对话无法保存。想要保存的话，我们可以借助 OpenWeb UI，来搭建一个类似 ChatGPT 一样的界面，用于保存和分类我们的大模型对话。

4. Openweb UI

首先，我们需要去下载一个Docker，登陆官网：https://www.docker.com/ ， 点击下载，一路安装到底。

接着，前往 Github，搜索 OpenWeb UI，会找到 Ollama 环境下安装 OpenWeb UI 的代码，网址是：https://github.com/open-webui/open-webui

安装完后，Docker 界面就会有新的端口3000:8080，点击它，就会跳转到浏览器，到这一步，就算全部完成了。

现在，可以新建对话，并且选择想要用的大语言模型。

四、LM Studio + OpenWeb UI

参考网站 https://www.cnblogs.com/joy99/p/18317036

五、下一步就是对模型进行微调和优化，搭建自己的定制化大语言模型。