跳到主要内容

Arc A770 Ollama WebUI 教程


Arc A770 Ollama WebUI 部署教程

本文记录 Windows 上使用 Arc A770、Ollama 和 Open WebUI 的配置思路。GPU 后端支持取决于 Ollama 版本、驱动和模型配置,需要用实际运行状态验证。

第一部分:区分后端与前端

Ollama 负责模型服务,Open WebUI 是可选的浏览器前端。使用浏览器前端不代表 Ollama 已经启用 GPU;后端能否使用 Vulkan,也应按所装版本的支持情况判断。

原文从旧 IPEX-LLM 环境迁移到官方 Ollama,并尝试通过 OLLAMA_VULKAN=1 使用 Vulkan。这个环境变量不构成对所有版本、驱动和显卡组合的兼容保证,配置前先核对对应版本的说明。

第二部分:系统环境准备

2.1. 检查 Arc 显卡驱动

先记录当前驱动版本,再按 Ollama 对应后端的要求核对。需要更新时,从英特尔官方下载适用于 Arc A770 的驱动并按提示安装、重启;无需把清洁安装作为每次配置的必做步骤。

2.2. 安装官方 Ollama

从 Ollama 官网 获取 Windows 安装程序,按安装器完成安装。

如果电脑上已有其他 Ollama 发行版,先确认正在使用的可执行文件和模型存储位置,保留自己的配置。退出旧服务,避免两个实例争用端口,不要直接删除模型目录。

PowerShell 中检查实际版本和命令来源:

ollama --version
Get-Command ollama -All

第三部分:尝试并验证 GPU 后端

3.1. 配置 Vulkan 环境变量

先确认所装版本支持所需后端。如果模型已经使用预期的 GPU,就不需要仅凭任务管理器的某个百分比强行调整。

如果对应版本需要通过此变量启用 Vulkan,可先退出托盘中的 Ollama 服务,再在当前 PowerShell 测试:

$env:OLLAMA_VULKAN = "1"
ollama serve

这个变量只被当前终端及其子进程继承,已运行的服务不会自动获得新值。ollama serve 会持续占用终端;保留它,另开终端运行模型命令。

需要持久保存时,在 Windows 搜索“环境变量”,打开环境变量设置,在“用户变量”中新建:

变量名 值
OLLAMA_VULKAN 1

保存后重开终端并重新启动 Ollama。不要同时启动托盘服务与另一个 ollama serve;若出现 11434 端口占用,先检查已有实例。

3.2. 启动模型并验证

服务启动本身不会自动下载或推理模型。需要另外运行模型或从前端发起请求,再在模型仍加载时检查:

ollama ps

结合 PROCESSOR 信息和服务日志判断是否使用 GPU、CPU 或混合卸载。GPU 占用低于某个固定百分比,不能单独证明只用了 CPU;任务管理器也应选择对应计算引擎,不能只看默认的 3D 图表。

第四部分:安装 Open WebUI

Open WebUI 是额外的前端服务,可以放在独立的 Conda 或 venv 环境里。下面保留原文 Python 3.11 的示例;实际安装前核对所选 Open WebUI 版本的 Python 要求,不满足时按其要求创建环境。

conda create -n open-webui python=3.11 -y
conda activate open-webui
python -m pip install open-webui
open-webui serve

启动后按日志显示的地址手动打开页面,通常为 http://localhost:8080。初始化账号后检查 Ollama 连接设置;同机服务通常使用 http://127.0.0.1:11434。

如果改用容器,容器内的 localhost 指向容器自己,需要另行配置主机地址。前端页面正常打开,不代表模型服务已经连接,也不代表 GPU 已启用。

第五部分:验证与性能测试

先选适合显存和内存的模型,完成一次短对话,再观察 ollama ps、服务日志、显存占用和响应速度。

原文使用 deepseek-r1:14b 举例。能否放入 A770 16GB 显存,取决于模型量化、上下文长度、KV 缓存和其他进程的显存占用,不能保证所有 14B 模型都轻松运行。显存不足时,先降低上下文或改用更小的模型,再观察加载结果和性能。

Open WebUI 中能发出请求、Ollama 中能看到已加载模型,以及日志确认使用预期后端,三者一起验证,才算完成这套配置。


文章作者: 0xdadream
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 0xdadream !
赏
评论

评论将在接近此处时加载,也可点击立即加载。

  目录