前言
关于Ollama
Ollama是一款开源、轻量级且易于使用的人工智能模型运行工具,它让普通用户也能在本地设备上轻松运行和管理各种大语言模型。通过简洁的命令行界面或直观的Web界面,用户可以快速启动、切换不同的模型,无需复杂的配置和部署流程。
Ollama支持多种主流的大语言模型,涵盖了从基础文本生成到复杂任务处理的各类应用场景,无论是日常对话、文本创作、代码编写,还是知识问答,都能轻松应对。它能够在本地运行模型,确保用户数据的隐私和安全,无需担心数据上传到云端的风险。同时,Ollama的资源占用较低,在笔记本电脑、服务器等设备上都能流畅运行,极大地降低了使用大语言模型的门槛,让更多人能够体验到人工智能的强大功能。
关于DeepSeek模型
DeepSeek模型由专注AGI研发的深度求索公司(DeepSeek)推出的新一代人工智能模型。该模型通过创新的稀疏混合专家架构(MoE)实现参数规模与计算效率的平衡,在语言理解、逻辑推理和多轮对话等场景展现出卓越性能。R1模型严格遵循合规要求,采用前沿的强化学习框架进行对齐优化,确保输出内容安全可靠。
作为通用型AI基座,R1支持灵活的功能扩展与行业适配,目前已成功应用于智能客服、数据分析、知识管理等领域。模型通过动态路由机制实现精准的任务分配,响应速度较传统架构提升40%以上,同时保持行业领先的准确率标准。
关于Chatbox AI
Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,基于OpenAI技术打造的跨平台桌面应用,为用户提供专业级AI对话服务。
演示环境
操作系统:Windows11 24H2
DeepSeek模型:DeepSeek-R1:1.5b
Chatbox AI:网页版
开始部署工作
安装Ollama
首先进入Ollama官网
点击Download,在随后的页面里选择适用于自己的系统版本进行下载并安装。
(默认安装在C盘,且不支持更改安装路径)安装完成后能够在托盘中看到一只羊驼即安装成功。
安装DeepSeek模型
在Ollama页面中的搜索框中搜索DeepSeek,这里使用DeepSeek-R1模型实例,点击进入
可能会看到不同大小的模型,以下表格有助于你选择相对应的适用于你的模型。
以下是DeepSeek模型在Ollama部署的版本推荐表(内容基于典型设备配置,由DeepSeek-R1模型生成,仅供参考,请以DeepSeek公布数据为准):
模型版本 | 适用操作系统 | 最低运行内存 | 推荐显存 | 存储空间 | 适用场景说明 |
---|---|---|---|---|---|
1.5B | Windows 10+/macOS 12+ | 4GB RAM | 无需独显 | 1.1GB | 入门级设备/轻量文本处理 |
7B | Windows 10+/macOS 12+ | 8GB RAM | 4GB VRAM | 4.7GB | 普通笔记本/基础对话场景 |
8B | Windows 11/macOS 13+ | 12GB RAM | 6GB VRAM | 4.9GB | 主流办公设备/多任务处理 |
14B | Windows 11/macOS 13+ | 16GB RAM | 8GB VRAM | 9.0GB | 工作站级PC/复杂逻辑推理 |
32B | Windows 11/macOS 14+ | 32GB RAM | 12GB VRAM | 20GB | 高性能主机/专业领域应用 |
70B | Windows 11/macOS 14+ | 64GB RAM | 24GB VRAM | 43GB | 服务器级设备/企业级解决方案 |
671B | 专用计算平台 | 256GB+ RAM | 80GB+显存 | 404GB | 超算集群/科研级AGI开发 |
在选择对应版本后点击复制安装命令
然后Win键+R键快捷呼出运行窗口,输入powershell,并将在Ollama中获取到的安装命令粘贴到窗口中并回车运行,等待安装……
显示以下内容即安装成功↓↓↓↓↓↓
配置Chatbox AI
请先右键Ollama的在托盘的小羊驼图标,选择Quit Ollama(备用),关闭Windows Powershell窗口
进入Chatbox AI官网,这里下载使用软件版或者使用网页版基本没有什么区别,这里使用网页版作为示例,点击启动网页版……
然后点击Chatbox AI Cloud按钮,在弹出的窗口中,点击DISPLAY,在Language中修改为中文并点击SAVE(如果错过了也可以点击左下方的Settings按钮)
然后在自己的电脑系统中进入【设置——系统——系统信息——高级系统设置——环境变量】,在新建变量中新建如下变量:
变量名 | 变量值 |
---|---|
OLLAMA_HOST | 0.0.0.0 |
OLLAMA_ORIGINS | * |
然后点击确定保存后,重新启动Ollama,在powershell中输入Start Ollama即可。
然后返回到Chatbox页面,重新刷新后点击设置——模型——模型提供方(修改为OLLAMA API)——模型(选择您自己安装的模型然后点击保存)
然后点击左侧新对话,然后使用即可。
如何删除模型
关闭
关闭Chatbox,powershell窗口
删除环境变量
在自己的电脑系统中进入【设置——系统——系统信息——高级系统设置——环境变量】,删除创建的变量即可。
删除DeepSeek模型
在Powershell中,输入Ollama list列出已安装模型,然后输入Ollama rm 模型名(例如:Ollama rm deepseek-r1:1.5b):
删除Ollama
在删除模型后右键小羊驼点击Quit Ollama推出之后,删除Ollama即可。