第一步 安装Ollama
一、什么是Ollama
Ollama 是一个开源的本地大语言模型(LLM)运行框架,支持在本地计算机上部署和管理多种大语言模型(如 LLaMA、Qwen、DeepSeek 等)。它的核心功能包括:
- 简化部署:本地安装,快速部署大语言模型,无需复杂配置。
- 支持多种模型:支持 LLaMA、Qwen、DeepSeek 等多种开源模型,用户可以根据需求选择模型大小和类型,如Deepseek-r1:8b,Deepseek-r1:32b,Deepseek-r1:70b等。
- 跨平台支持:支持 Windows、Linux 和 macOS 系统。
- 命令行操作:通过简单的命令行指令即可运行和管理模型。
- GPU 加速:支持 NVIDIA GPU,通过 CUDA 和 cuDNN 加速模型推理。
- 模型量化:提供量化版本模型,降低显存需求,适合消费级显卡。
二、安装步骤
- 安装 NVIDIA 驱动和 CUDA:
下载并安装最新版 NVIDIA 驱动。
安装 CUDA Toolkit,并配置环境变量。 - 下载 Ollama:
访问Ollama,下载 Windows 安装包(OllamaSetup.exe)。 - 安装 Ollama:
双击安装包,按照提示完成安装。
默认安装路径为 C:\Users\<用户名>\AppData\Local\Programs\Ollama。 - 配置环境变量(最好修改一下模型存储路径,大语言模型默认存储在C盘,容易造成C盘空间不足):
修改模型存储路径:添加系统变量 OLLAMA_MODELS,设置为自定义路径(如 D:\ollama\models)。
修改监听地址:添加系统变量 OLLAMA_HOST=0.0.0.0,允许局域网访问(如果只是自己个人使用,可以不修改)。
三、使用方法
1. 启动 Ollama
- 打开命令提示符(CMD)或 PowerShell,输入以下命令启动 Ollama 服务:
- ollama serve
2. 下载大语言模型
- 访问 Ollama 模型库,下载大语言模型:
- ollama pull deepseek-r1:32b
- 等待模型下载完成,由于模型文件较大,此步骤经常容易下载失败,如果显示错误信息,只需按一下向上箭头,重新运行命令即可,会从上次中断处继续下载。
3. 运行模型
- 输入以下命令运行模型:
- ollama run deepseek-r1:32b
- 进入大语言模型交互式对话模式,输入问题即可获得模型回复。后续还需要部署个人知识库,使用命令/bye退出即可。
4. 管理模型
- 查看已下载模型:
- ollama list
- 删除模型:
- ollama rm deepseek-r1:14b
- 复制模型:
- ollama cp deepseek-r1:14b my-model