前言ollama 是一個開源的本地大語言模型運行框架它提供了非常簡單便捷的使用形式讓用戶可以十分方便的在本地機器上部署和運行大型語言模型從而實現免費離線的方式使用 LLM 能力并確保私有數據的隱私和安全性。1 ollama 安裝ollama 支持多種操作系統包括 macOS、Windows、Linux 以及通過 Docker 容器運行。其安裝、使用及模型下載非常簡單可以簡單概括為以下幾步下載 ollama 安裝程序并安裝。啟動 ollama執行命令下載和運行模型。如ollama run deepseek-r1:1.5b以命令行交互、API 調用、第三方應用接入等形式使用其服務。1.1 硬件要求ollama 本身對硬件要求并不高主要取決于運行模型的要求?；窘ㄗh你應該至少有 4 GB 的 RAM 來運行 1.5B 模型至少有 8 GB 的 RAM 來運行 7B 模型16 GB 的 RAM 來運行 13B 模型以及 32 GB 的 RAM 來運行 33B 模型。假若需要本地私有化部署具有實用性的模型應至少有獨立顯卡并有 4G 以上顯存。純 CPU 模式雖然也可以運行但生成速度很慢僅適用于本地開發調試體驗一下。本人實測在Mac Studio 2023 版(Apple M2 Max 芯片12核、32G內存、30核顯、1TB SSD)上運行deepseek:1.5b模型響應非常快可以較為流暢的運行deepseek-r1:32b及以下的模型。DeepSeek-r1 相關版本及大小參考參數版本模型大小建議CPU建議內存建議顯存特點deepseek-r1:1.5b1.1GB4核4~8G4GB輕量級速度快、普通文本處理deepseek-r1:7b4.7G8核16G14GB性能較好硬件要求適中deepseek-r1:8b4.9GB8核16G14GB略強于 7b精度更高deepseek-r1:14b9GB12核32G26GB高性能擅長復雜任務如數學推理、代碼生成deepseek-r1:32b20G16核64G48GB專業級適合高精度任務deepseek-r1:70b43GB32核128G140GB頂級模型適合大規模計算和高復雜度任務deepseek-r1:671b404GB64核512G1342GB超大規模性能卓越推理速度快1.2 Windows \ macOS \ Linux 下安裝 ollamaWindows 和 macOS 用戶可訪問如下地址下載安裝文件并安裝國內中文站下載http://ollama.org.cn/download/官方下載https://ollama.com/download/github release 下載https://github.com/ollama/ollama/releases/Linux 用戶可以執行如下命令一鍵安裝curl-fsSL https://ollama.com/install.sh|bash安裝完成后可以通過執行ollama --version命令查看 ollama 版本信息以驗證是否安裝成功。ollama 離線安裝Windows 和 macOS 下直接復制安裝文件到本地本進行安裝即可。Linux 下的離線安裝主要步驟參考如下mkdir-p/home/ollama cd/home/ollama# 查看服務器 CPU 信息獲取其架構如x86_64lscpu# 訪問如下地址下載對應架構的 ollama 安裝包# https://github.com/ollama/ollama/releases/# - x86_64 CPU 選擇下載 ollama-linux-amd64# - aarch64|arm64 CPU 選擇下載 ollama-linux-arm64# 示例wget https://github.com/ollama/ollama/releases/download/v0.5.11/ollama-linux-amd64.tgz# 下載 安裝腳本并放到 /home/ollama 目錄下wget https://ollama.com/install.sh# 將 ollama-linux-amd64.tgz 和 install.sh 拷貝到需要安裝的機器上如放到 /home/ollama 目錄下# 然后執行如下命令tar-zxvf ollama-linux-amd64.tgz chmodx install.sh# 編輯 install.sh 文件找到如下內容curl--fail--show-error--location--progress-bar-o $TEMP_DIR/ollamahttps://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}# 注釋它并在其下增加如下內容cp./ollama-linux-amd64 $TEMP_DIR/ollama# 執行安裝腳本./install.sh# 模型的離線下載請參考下文模型導入部分1.3 基于 Docker 安裝 ollama基于 Docker 可以使得 ollama 的安裝、更新與啟停管理更為便捷。首先確保已安裝了 docker然后執行如下命令# 拉取鏡像docker pull ollama/ollama# 運行容器CPU 模式docker run-d-p11434:11434-v/data/ollama:/root/.ollama--name ollama ollama/ollama# 運行容器GPU 模式docker run--gpusall-d-p11434:11434-v/data/ollama:/root/.ollama--name ollama ollama/ollama# 進入容器 bash 下并下載模型dockerexec-it ollama/bin/bash# 下載一個模型ollama pull deepseek-r1:8b也可以基于docker-compose進行啟停管理。docker-compose.yml參考services:ollama:image:ollama/ollama container_name:ollama restart:unless-stopped ports:-11434:11434volumes:-/data/ollama:/root/.ollama environment:# 允許局域網跨域形式訪問APIOLLAMA_HOST0.0.0.0:11434OLLAMA_ORIGINS*1.4 修改 ollama 模型默認保存位置ollama下載的模型默認的存儲目錄如下macOS:~/.ollama/modelsLinux:/usr/share/ollama/.ollama/modelsWindows:C:\Users\username\.ollama\models若默認位置存在磁盤空間告急的問題可以通過設置環境變量OLLAMA_MODELS修改模型存儲位置。示例# macOS / Linux寫入環境變量配置到 ~/.bashrc 文件中echoexport OLLAMA_MODELS/data/ollama/models~/.bashrc source~/.bashrc# Windows按 WINR 組合鍵并輸入 cmd 打開命令提示符# 然后執行如下命令寫入到系統環境變量中setx OLLAMA_MODELS D:\data\ollama\models如果已經下載過模型可以從上述默認位置將 models 目錄移動到新的位置。對于 docker 安裝模式則可以通過掛載卷的方式修改模型存儲位置。1.5 使用基于 API 形式訪問 ollama 服務ollama 安裝完成并正常啟動后可以通過命令行形式運行模型如ollama run deepseek-r1:1.5b并通過命令行交互的方式進行測試。此外也可以通過訪問http://localhost:11434以 API 調用的形式調用。示例curl http://localhost:11434/api/generate-d {model:deepseek-r1:8b,stream:false,prompt:你是誰}ollama API 文檔參考https://ollama.readthedocs.io/api/https://github.com/ollama/ollama/blob/main/docs/api.md2 使用 ollama 下載和運行模型2.1 使用 ollama 命令行下載和運行模型執行如下命令下載并運行一個模型# 基本格式為ollama runmodel_name:size# 例如下載并運行 deepseek-r1 的 1.5b 模型# 如果下載模型速度開始較快后面變慢可以 kill 當前進程并重新執行ollama run deepseek-r1:1.5b運行成功則會進入命令行交互模式可以直接輸入問題并獲得應答反饋也可以通過 API 調用方式測試和使用。從如下地址可搜索 ollama 所有支持的模型中文站https://ollama.org.cn/search官方站https://ollama.com/search從 HF 和魔塔社區下載模型ollama 還支持從 HF 和魔塔社區下載第三方開源模型?；靖袷綖? 從 HF(https://huggingface.co) 下載模型的格式ollama run hf.co/{username}/{reponame}:latest# 示例ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF:Q8_0# 從魔塔社區(https://modelscope.cn)下載模型的格式ollama run modelscope.cn/{username}/{model}# 示例ollama run modelscope.cn/Qwen/Qwen2.5-3B-Instruct-GGUF:Q3_K_M2.2 使用 ollama create 導入本地模型通過ollama run和ollama pull命令均是從官方地址下載模型可能會遇到下載速度慢、下載失敗等問題。ollama 支持從本地導入模型。我們可以從第三方下載模型文件并使用ollama create命令導入到 ollama 中。例如假若我們下載了deepseek-r1:8b模型文件并保存在/data/ollama/gguf/deepseek-r1-8b.gguf則可執行如下命令進行導入cd/data/ollama/gguf echoFrom ./deepeek-r1-8b.ggufmodelfile-deepseek-r1-8bollama create deepseek-r1:8b-f modelfile-deepseek-r1-8b# 查看模型信息ollamalistollama show deepseek-r1:8b# 運行模型(以命令行交互模式使用)ollama run deepseek-r1:8b相關文檔參考https://ollama.readthedocs.io/import/https://ollama.readthedocs.io/modelfile/3 ollama 常用命令參考ollama 提供了豐富的命令行工具方便用戶對模型進行管理。ollama --help查看幫助信息。ollama serve啟動 ollama 服務。ollama create model-name [-f Modelfile]根據一個 Modelfile 文件導入模型。ollama show model-name:[size]顯示某個模型的詳細信息。ollama run model-name:[size]運行一個模型。若模型不存在會先拉取它。ollama stop model-name:[size]停止一個正在運行的模型。ollama pull model-name:[size]拉取指定的模型。ollama push model-name將一個模型推送到遠程模型倉庫。ollama list列出所有模型。ollama ps列出所有正在運行的模型。ollama cp source-model-name new-model-name復制一個模型。ollama rm model-name:[size]刪除一個模型。4 ollama 安裝使用常見問題及解決4.1 ollama 模型下載慢離線下載與安裝模型通過 ollama 官方命令拉取模型可能會遇到網速慢、下載時間過長等問題。4.1.1 開始快后來慢間隔性重啟下載由于模型文件較大下載過程中可能會遇到開始網速還可以后面變慢的情況。許多網友反饋退出然后重試則速度就可以上來了所以可以嘗試通過每隔一段時間退出并重新執行的方式以保持較快的下載速率。以下是基于該邏輯實現的下載腳本注意將其中的deepseek-r1:7b替換為你希望下載的模型版本。Windows 下在 powershell 中執行while($true){$modelExistsollamalist|Select-Stringdeepseek-r1:7bif($modelExists){Write-Host模型已下載完成break}Write-Host開始下載模型...$processStart-Process-FilePathollama-ArgumentListrun,deepseek-r1:7b-PassThru-NoNewWindow# 等待60秒Start-Sleep-Seconds60try{Stop-Process-Id $process.Id-Force-ErrorAction Stop Write-Host已中斷本次下載準備重新嘗試...}catch{Write-Hosterror}}macOS / Linux下在終端中執行#!/bin/bashwhiletrue;do# 檢查模型是否已下載完成modelExists$(ollamalist|grepdeepseek-r1:7b)if[-n$modelExists];then echo模型已下載完成breakfi# 啟動ollama進程并記錄echo開始下載模型...ollama run deepseek-r1:7b# 在后臺啟動進程processId$!# 獲取最近啟動的后臺進程的PID# 等待60秒sleep60# 嘗試終止進程ifkill-0$processId2/dev/null;then kill-9$processId# 強制終止進程echo已中斷本次下載準備重新嘗試...elseecho進程已結束無需中斷fi done4.1.2 通過網盤等第三方離線下載并導入 ollama 模型可以通過國內的第三方離線下載模型文件再導入到 ollama 中。詳細參考 2.2 章節。deepseek-r1相關模型夸克網盤下載鏈接https://pan.quark.cn/s/7fa235cc64ef 提取碼wasX也可以從 魔塔社區、HuggingFace 等大模型社區搜索并下載 stuff 格式的模型文件。例如https://modelscope.cn/models/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF/fileshttps://huggingface.co/unsloth/DeepSeek-R1-GGUF4.1.3 從國內大模型提供站下載模型ollama 支持從魔塔社區直接下載模型。其基本格式為ollama run modelscope.cn/{model-id}一個模型倉庫可能包含多個模型可以指定到具體的模型文件名以只下載它。示例ollama run modelscope.cn/Qwen/Qwen2.5-3B-Instruct-GGUF#ollama run modelscope.cn/Qwen/Qwen2.5-3B-Instruct-GGUF:qwen2.5-3b-instruct-q3_k_m.gguf下載deepseek-r1模型命令參考# deepseek-r1:7bollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF:DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf# deepseek-r1:14bollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-14B-GGUF:Q4_K_M# deepseek-r1:32bollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF:Q4_K_M此外也可以從 HF 的國內鏡像站https://hf-mirror.com查找和拉取模型方法與上述類似# 基本格式ollama run hf-mirror.com/{username}/{reponame}:{label}# 示例 - 拉取 deepseek-r1:7bollama run hf-mirror.com/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF:Q4_K_M4.2 ollama 服務設置允許局域網訪問默認情況下 API 服務僅允許本機訪問若需要允許局域網其他設備直接訪問可修改環境變量OLLAMA_HOST為0.0.0.0并修改OLLAMA_ORIGINS為允許的域名或 IP 地址。環境變量設置示例# windows 命令提示符下執行setx OLLAMA_HOST0.0.0.0:11434setx OLLAMA_ORIGINS*# macOS 終端下執行launchctl setenv OLLAMA_HOST0.0.0.0:11434launchctl setenv OLLAMA_ORIGINS*特別注意如果你是在云服務器等擁有公網IP的環境上部署請謹慎做此設置否則可能導致 API 服務被惡意調用。若需要局域網其他設備訪問請確保防火墻等安全設置允許 11434 端口訪問。若需要自定義訪問端口號可通過環境變量OLLAMA_HOST設置如OLLAMA_HOST0.0.0.0:11435。4.3 為 ollama API 服務訪問增加 API KEY 保護為云服務器部署的服務增加 API KEY 以保護服務如果你是通過云服務器部署那么需要特別注意服務安全避免被互聯網工具掃描而泄露導致資源被第三方利用?？梢酝ㄟ^部署 nginx 并設置代理轉發以增加 API KEY 以保護服務同時需要屏蔽對 11434 端口的互聯網直接訪問形式。nginx配置server{# 用于公網訪問的端口listen8434;# 域名綁定若無域名可移除server_name your_domain.com;location/{# 驗證 API KEY。這里的 your_api_key 應隨便修改為你希望設置的內容# 可通過 uuid 生成器工具隨機生成一個https://tool.lzw.me/uuid-generatorif($http_authorization!Bearer your_api_key){return403;}# 代理轉發到 ollama 的 11434 端口proxy_pass http://localhost:11434;proxy_set_header Host $host;proxy_set_header X-Real-IP $remote_addr;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;proxy_set_header X-Forwarded-Proto $scheme;}}5 集成可視化工具在部署了 ollama 并拉取了 deepseek 等模型后即可通過命令行交互和 API 服務方式使用但使用起來并不方便。開源社區中有許多大模型相關的可視化工具如 open-webui、chat-ui、cherry-studio、AnythingLLM 等可以方便地集成 ollama API 服務提供圖形化界面使用以實現聊天機器人、問答知識庫等多元化應用。在官方文檔中列舉了大量較為流行的工具應用https://ollama.readthedocs.io/quickstart/#web我們后續會選擇其中較為典型的工具進行集成和介紹。5.1 示例基于 docker 部署 open-webui 并配置集成 ollama 服務Open WebUI 是一個開源的大語言模型項目通過部署它可以得到一個純本地運行的基于瀏覽器訪問的 Web 服務。它提供了可擴展、功能豐富、用戶友好的自托管 AI Web 界面支持各種大型語言模型LLM運行器可以通過配置形式便捷的集成 ollama、OpenAI 等提供的 API。通過 Open WebUI 可以實現聊天機器人、本地知識庫、圖像生成等豐富的大模型應用功能。在開始之前請確保你的系統已經安裝了 docker。接著拉取大語言模型deepseek-r1:8b和用于 RAG 構建本地知識庫的嵌入模型bge-m3ollama pull deepseek-r1:8bollama pull bge-m3然后新建文件docker-compose.yml內容參考services:open-webui:image:ghcr.io/open-webui/open-webui:main environment:-OLLAMA_API_BASE_URLhttp://ollama:11434/api-HF_ENDPOINThttps://hf-mirror.com-WEBUI_NAMELZW的LLM服務# 禁用 OPENAI API 的請求。若你的網絡環境無法訪問 openai請務必設置該項為 false# 否則在登錄成功時會因為同時請求了 openai 接口而導致白屏時間過長-ENABLE_OPENAI_APIfalse# 設置允許跨域請求服務的域名。* 表示允許所有域名-CORS_ALLOW_ORIGIN*# 開啟圖片生成-ENABLE_IMAGE_GENERATIONtrue# 默認模型-DEFAULT_MODELSdeepseek-r1:8b# RAG 構建本地知識庫使用的默認嵌入域名-RAG_EMBEDDING_MODELbge-m3 ports:-8080:8080volumes:-./open_webui_data:/app/backend/data extra_hosts:# - host.docker.internal:host-gateway這里需注意environment環境變量部分的自定義設置。許多設置也可以通過登錄后在 web 界面進行修改。在該目錄下執行該命令以啟動服務docker-compose up -d。成功后即可通過瀏覽器訪問http://localhost:8080。服務鏡像更新參考# 拉取新鏡像docker-compose pull# 重啟服務docker-compose up-d--remove-orphans# 清理鏡像docker image pruneopen-webui 詳細文檔參考https://docs.openwebui.com/getting-started/env-configuration可選開啟“聯網搜索”功能操作路徑設置 - 聯網搜索 - 啟用聯網搜索當前已支持接入的聯網搜索引擎中在不需要魔法上網的情況下有 bing 和 bocha 可以選擇接入?；局恍枰巴圆@取 API KEY 回填到這里即可。如果需要保護隱私數據請不要開啟并配置該功能。博查文檔https://aq6ky2b8nql.feishu.cn/wiki/XgeXwsn7oiDEC0kH6O3cUKtknSR總結與參考通過以上內容我們了解了 ollama 在國內環境下的安裝使用方法并介紹了因為國內網絡特色導致安裝過程可能會遇到的常見問題及解決辦法。希望這些內容對你有所幫助。最后的最后感謝你們的閱讀和喜歡作為一位在一線互聯網行業奮斗多年的老兵我深知在這個瞬息萬變的技術領域中持續學習和進步的重要性。為了幫助更多熱愛技術、渴望成長的朋友我特別整理了一份涵蓋大模型領域的寶貴資料集。這些資料不僅是我多年積累的心血結晶也是我在行業一線實戰經驗的總結。這些學習資料不僅深入淺出而且非常實用讓大家系統而高效地掌握AI大模型的各個知識點。如果你愿意花時間沉下心來學習相信它們一定能為你提供實質性的幫助。這份完整版的大模型 AI 學習資料已經上傳CSDN朋友們如果需要可以微信掃描下方CSDN官方認證二維碼免費領取【保證100%免費】大模型知識腦圖為了成為更好的 AI大模型 開發者這里為大家提供了總的路線圖。它的用處就在于你可以按照上面的知識點去找對應的學習資源保證自己學得較為全面。經典書籍閱讀閱讀AI大模型經典書籍可以幫助讀者提高技術水平開拓視野掌握核心技術提高解決問題的能力同時也可以借鑒他人的經驗。對于想要深入學習AI大模型開發的讀者來說閱讀經典書籍是非常有必要的。實戰案例光學理論是沒用的要學會跟著一起敲要動手實操才能將自己的所學運用到實際當中去這時候可以搞點實戰案例來學習。面試資料我們學習AI大模型必然是想找到高薪的工作下面這些面試題都是總結當前最新、最熱、最高頻的面試題并且每道題都有詳細的答案面試前刷完這套面試題資料小小offer不在話下640套AI大模型報告合集這套包含640份報告的合集涵蓋了AI大模型的理論研究、技術實現、行業應用等多個方面。無論您是科研人員、工程師還是對AI大模型感興趣的愛好者這套報告合集都將為您提供寶貴的信息和啟示。這份完整版的大模型 AI 學習資料已經上傳CSDN朋友們如果需要可以微信掃描下方CSDN官方認證二維碼免費領取【保證100%免費】 詳細！離線部署大模型：ollama+deepseek+open-webui安裝使用方法及常見問題解決
前言ollama 是一個開源的本地大語言模型運行框架它提供了非常簡單便捷的使用形式讓用戶可以十分方便的在本地機器上部署和運行大型語言模型從而實現免費離線的方式使用 LLM 能力并確保私有數據的隱私和安全性。1 ollama 安裝ollama 支持多種操作系統包括 macOS、Windows、Linux 以及通過 Docker 容器運行。其安裝、使用及模型下載非常簡單可以簡單概括為以下幾步下載 ollama 安裝程序并安裝。啟動 ollama執行命令下載和運行模型。如ollama run deepseek-r1:1.5b以命令行交互、API 調用、第三方應用接入等形式使用其服務。1.1 硬件要求ollama 本身對硬件要求并不高主要取決于運行模型的要求?；窘ㄗh你應該至少有 4 GB 的 RAM 來運行 1.5B 模型至少有 8 GB 的 RAM 來運行 7B 模型16 GB 的 RAM 來運行 13B 模型以及 32 GB 的 RAM 來運行 33B 模型。假若需要本地私有化部署具有實用性的模型應至少有獨立顯卡并有 4G 以上顯存。純 CPU 模式雖然也可以運行但生成速度很慢僅適用于本地開發調試體驗一下。本人實測在Mac Studio 2023 版(Apple M2 Max 芯片12核、32G內存、30核顯、1TB SSD)上運行deepseek:1.5b模型響應非常快可以較為流暢的運行deepseek-r1:32b及以下的模型。DeepSeek-r1 相關版本及大小參考參數版本模型大小建議CPU建議內存建議顯存特點deepseek-r1:1.5b1.1GB4核4~8G4GB輕量級速度快、普通文本處理deepseek-r1:7b4.7G8核16G14GB性能較好硬件要求適中deepseek-r1:8b4.9GB8核16G14GB略強于 7b精度更高deepseek-r1:14b9GB12核32G26GB高性能擅長復雜任務如數學推理、代碼生成deepseek-r1:32b20G16核64G48GB專業級適合高精度任務deepseek-r1:70b43GB32核128G140GB頂級模型適合大規模計算和高復雜度任務deepseek-r1:671b404GB64核512G1342GB超大規模性能卓越推理速度快1.2 Windows \ macOS \ Linux 下安裝 ollamaWindows 和 macOS 用戶可訪問如下地址下載安裝文件并安裝國內中文站下載http://ollama.org.cn/download/官方下載https://ollama.com/download/github release 下載https://github.com/ollama/ollama/releases/Linux 用戶可以執行如下命令一鍵安裝curl-fsSL https://ollama.com/install.sh|bash安裝完成后可以通過執行ollama --version命令查看 ollama 版本信息以驗證是否安裝成功。ollama 離線安裝Windows 和 macOS 下直接復制安裝文件到本地本進行安裝即可。Linux 下的離線安裝主要步驟參考如下mkdir-p/home/ollama cd/home/ollama# 查看服務器 CPU 信息獲取其架構如x86_64lscpu# 訪問如下地址下載對應架構的 ollama 安裝包# https://github.com/ollama/ollama/releases/# - x86_64 CPU 選擇下載 ollama-linux-amd64# - aarch64|arm64 CPU 選擇下載 ollama-linux-arm64# 示例wget https://github.com/ollama/ollama/releases/download/v0.5.11/ollama-linux-amd64.tgz# 下載 安裝腳本并放到 /home/ollama 目錄下wget https://ollama.com/install.sh# 將 ollama-linux-amd64.tgz 和 install.sh 拷貝到需要安裝的機器上如放到 /home/ollama 目錄下# 然后執行如下命令tar-zxvf ollama-linux-amd64.tgz chmodx install.sh# 編輯 install.sh 文件找到如下內容curl--fail--show-error--location--progress-bar-o $TEMP_DIR/ollamahttps://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}# 注釋它并在其下增加如下內容cp./ollama-linux-amd64 $TEMP_DIR/ollama# 執行安裝腳本./install.sh# 模型的離線下載請參考下文模型導入部分1.3 基于 Docker 安裝 ollama基于 Docker 可以使得 ollama 的安裝、更新與啟停管理更為便捷。首先確保已安裝了 docker然后執行如下命令# 拉取鏡像docker pull ollama/ollama# 運行容器CPU 模式docker run-d-p11434:11434-v/data/ollama:/root/.ollama--name ollama ollama/ollama# 運行容器GPU 模式docker run--gpusall-d-p11434:11434-v/data/ollama:/root/.ollama--name ollama ollama/ollama# 進入容器 bash 下并下載模型dockerexec-it ollama/bin/bash# 下載一個模型ollama pull deepseek-r1:8b也可以基于docker-compose進行啟停管理。docker-compose.yml參考services:ollama:image:ollama/ollama container_name:ollama restart:unless-stopped ports:-11434:11434volumes:-/data/ollama:/root/.ollama environment:# 允許局域網跨域形式訪問APIOLLAMA_HOST0.0.0.0:11434OLLAMA_ORIGINS*1.4 修改 ollama 模型默認保存位置ollama下載的模型默認的存儲目錄如下macOS:~/.ollama/modelsLinux:/usr/share/ollama/.ollama/modelsWindows:C:\Users\username\.ollama\models若默認位置存在磁盤空間告急的問題可以通過設置環境變量OLLAMA_MODELS修改模型存儲位置。示例# macOS / Linux寫入環境變量配置到 ~/.bashrc 文件中echoexport OLLAMA_MODELS/data/ollama/models~/.bashrc source~/.bashrc# Windows按 WINR 組合鍵并輸入 cmd 打開命令提示符# 然后執行如下命令寫入到系統環境變量中setx OLLAMA_MODELS D:\data\ollama\models如果已經下載過模型可以從上述默認位置將 models 目錄移動到新的位置。對于 docker 安裝模式則可以通過掛載卷的方式修改模型存儲位置。1.5 使用基于 API 形式訪問 ollama 服務ollama 安裝完成并正常啟動后可以通過命令行形式運行模型如ollama run deepseek-r1:1.5b并通過命令行交互的方式進行測試。此外也可以通過訪問http://localhost:11434以 API 調用的形式調用。示例curl http://localhost:11434/api/generate-d {model:deepseek-r1:8b,stream:false,prompt:你是誰}ollama API 文檔參考https://ollama.readthedocs.io/api/https://github.com/ollama/ollama/blob/main/docs/api.md2 使用 ollama 下載和運行模型2.1 使用 ollama 命令行下載和運行模型執行如下命令下載并運行一個模型# 基本格式為ollama runmodel_name:size# 例如下載并運行 deepseek-r1 的 1.5b 模型# 如果下載模型速度開始較快后面變慢可以 kill 當前進程并重新執行ollama run deepseek-r1:1.5b運行成功則會進入命令行交互模式可以直接輸入問題并獲得應答反饋也可以通過 API 調用方式測試和使用。從如下地址可搜索 ollama 所有支持的模型中文站https://ollama.org.cn/search官方站https://ollama.com/search從 HF 和魔塔社區下載模型ollama 還支持從 HF 和魔塔社區下載第三方開源模型?；靖袷綖? 從 HF(https://huggingface.co) 下載模型的格式ollama run hf.co/{username}/{reponame}:latest# 示例ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF:Q8_0# 從魔塔社區(https://modelscope.cn)下載模型的格式ollama run modelscope.cn/{username}/{model}# 示例ollama run modelscope.cn/Qwen/Qwen2.5-3B-Instruct-GGUF:Q3_K_M2.2 使用 ollama create 導入本地模型通過ollama run和ollama pull命令均是從官方地址下載模型可能會遇到下載速度慢、下載失敗等問題。ollama 支持從本地導入模型。我們可以從第三方下載模型文件并使用ollama create命令導入到 ollama 中。例如假若我們下載了deepseek-r1:8b模型文件并保存在/data/ollama/gguf/deepseek-r1-8b.gguf則可執行如下命令進行導入cd/data/ollama/gguf echoFrom ./deepeek-r1-8b.ggufmodelfile-deepseek-r1-8bollama create deepseek-r1:8b-f modelfile-deepseek-r1-8b# 查看模型信息ollamalistollama show deepseek-r1:8b# 運行模型(以命令行交互模式使用)ollama run deepseek-r1:8b相關文檔參考https://ollama.readthedocs.io/import/https://ollama.readthedocs.io/modelfile/3 ollama 常用命令參考ollama 提供了豐富的命令行工具方便用戶對模型進行管理。ollama --help查看幫助信息。ollama serve啟動 ollama 服務。ollama create model-name [-f Modelfile]根據一個 Modelfile 文件導入模型。ollama show model-name:[size]顯示某個模型的詳細信息。ollama run model-name:[size]運行一個模型。若模型不存在會先拉取它。ollama stop model-name:[size]停止一個正在運行的模型。ollama pull model-name:[size]拉取指定的模型。ollama push model-name將一個模型推送到遠程模型倉庫。ollama list列出所有模型。ollama ps列出所有正在運行的模型。ollama cp source-model-name new-model-name復制一個模型。ollama rm model-name:[size]刪除一個模型。4 ollama 安裝使用常見問題及解決4.1 ollama 模型下載慢離線下載與安裝模型通過 ollama 官方命令拉取模型可能會遇到網速慢、下載時間過長等問題。4.1.1 開始快后來慢間隔性重啟下載由于模型文件較大下載過程中可能會遇到開始網速還可以后面變慢的情況。許多網友反饋退出然后重試則速度就可以上來了所以可以嘗試通過每隔一段時間退出并重新執行的方式以保持較快的下載速率。以下是基于該邏輯實現的下載腳本注意將其中的deepseek-r1:7b替換為你希望下載的模型版本。Windows 下在 powershell 中執行while($true){$modelExistsollamalist|Select-Stringdeepseek-r1:7bif($modelExists){Write-Host模型已下載完成break}Write-Host開始下載模型...$processStart-Process-FilePathollama-ArgumentListrun,deepseek-r1:7b-PassThru-NoNewWindow# 等待60秒Start-Sleep-Seconds60try{Stop-Process-Id $process.Id-Force-ErrorAction Stop Write-Host已中斷本次下載準備重新嘗試...}catch{Write-Hosterror}}macOS / Linux下在終端中執行#!/bin/bashwhiletrue;do# 檢查模型是否已下載完成modelExists$(ollamalist|grepdeepseek-r1:7b)if[-n$modelExists];then echo模型已下載完成breakfi# 啟動ollama進程并記錄echo開始下載模型...ollama run deepseek-r1:7b# 在后臺啟動進程processId$!# 獲取最近啟動的后臺進程的PID# 等待60秒sleep60# 嘗試終止進程ifkill-0$processId2/dev/null;then kill-9$processId# 強制終止進程echo已中斷本次下載準備重新嘗試...elseecho進程已結束無需中斷fi done4.1.2 通過網盤等第三方離線下載并導入 ollama 模型可以通過國內的第三方離線下載模型文件再導入到 ollama 中。詳細參考 2.2 章節。deepseek-r1相關模型夸克網盤下載鏈接https://pan.quark.cn/s/7fa235cc64ef 提取碼wasX也可以從 魔塔社區、HuggingFace 等大模型社區搜索并下載 stuff 格式的模型文件。例如https://modelscope.cn/models/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF/fileshttps://huggingface.co/unsloth/DeepSeek-R1-GGUF4.1.3 從國內大模型提供站下載模型ollama 支持從魔塔社區直接下載模型。其基本格式為ollama run modelscope.cn/{model-id}一個模型倉庫可能包含多個模型可以指定到具體的模型文件名以只下載它。示例ollama run modelscope.cn/Qwen/Qwen2.5-3B-Instruct-GGUF#ollama run modelscope.cn/Qwen/Qwen2.5-3B-Instruct-GGUF:qwen2.5-3b-instruct-q3_k_m.gguf下載deepseek-r1模型命令參考# deepseek-r1:7bollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF:DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf# deepseek-r1:14bollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-14B-GGUF:Q4_K_M# deepseek-r1:32bollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF:Q4_K_M此外也可以從 HF 的國內鏡像站https://hf-mirror.com查找和拉取模型方法與上述類似# 基本格式ollama run hf-mirror.com/{username}/{reponame}:{label}# 示例 - 拉取 deepseek-r1:7bollama run hf-mirror.com/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF:Q4_K_M4.2 ollama 服務設置允許局域網訪問默認情況下 API 服務僅允許本機訪問若需要允許局域網其他設備直接訪問可修改環境變量OLLAMA_HOST為0.0.0.0并修改OLLAMA_ORIGINS為允許的域名或 IP 地址。環境變量設置示例# windows 命令提示符下執行setx OLLAMA_HOST0.0.0.0:11434setx OLLAMA_ORIGINS*# macOS 終端下執行launchctl setenv OLLAMA_HOST0.0.0.0:11434launchctl setenv OLLAMA_ORIGINS*特別注意如果你是在云服務器等擁有公網IP的環境上部署請謹慎做此設置否則可能導致 API 服務被惡意調用。若需要局域網其他設備訪問請確保防火墻等安全設置允許 11434 端口訪問。若需要自定義訪問端口號可通過環境變量OLLAMA_HOST設置如OLLAMA_HOST0.0.0.0:11435。4.3 為 ollama API 服務訪問增加 API KEY 保護為云服務器部署的服務增加 API KEY 以保護服務如果你是通過云服務器部署那么需要特別注意服務安全避免被互聯網工具掃描而泄露導致資源被第三方利用?？梢酝ㄟ^部署 nginx 并設置代理轉發以增加 API KEY 以保護服務同時需要屏蔽對 11434 端口的互聯網直接訪問形式。nginx配置server{# 用于公網訪問的端口listen8434;# 域名綁定若無域名可移除server_name your_domain.com;location/{# 驗證 API KEY。這里的 your_api_key 應隨便修改為你希望設置的內容# 可通過 uuid 生成器工具隨機生成一個https://tool.lzw.me/uuid-generatorif($http_authorization!Bearer your_api_key){return403;}# 代理轉發到 ollama 的 11434 端口proxy_pass http://localhost:11434;proxy_set_header Host $host;proxy_set_header X-Real-IP $remote_addr;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;proxy_set_header X-Forwarded-Proto $scheme;}}5 集成可視化工具在部署了 ollama 并拉取了 deepseek 等模型后即可通過命令行交互和 API 服務方式使用但使用起來并不方便。開源社區中有許多大模型相關的可視化工具如 open-webui、chat-ui、cherry-studio、AnythingLLM 等可以方便地集成 ollama API 服務提供圖形化界面使用以實現聊天機器人、問答知識庫等多元化應用。在官方文檔中列舉了大量較為流行的工具應用https://ollama.readthedocs.io/quickstart/#web我們后續會選擇其中較為典型的工具進行集成和介紹。5.1 示例基于 docker 部署 open-webui 并配置集成 ollama 服務Open WebUI 是一個開源的大語言模型項目通過部署它可以得到一個純本地運行的基于瀏覽器訪問的 Web 服務。它提供了可擴展、功能豐富、用戶友好的自托管 AI Web 界面支持各種大型語言模型LLM運行器可以通過配置形式便捷的集成 ollama、OpenAI 等提供的 API。通過 Open WebUI 可以實現聊天機器人、本地知識庫、圖像生成等豐富的大模型應用功能。在開始之前請確保你的系統已經安裝了 docker。接著拉取大語言模型deepseek-r1:8b和用于 RAG 構建本地知識庫的嵌入模型bge-m3ollama pull deepseek-r1:8bollama pull bge-m3然后新建文件docker-compose.yml內容參考services:open-webui:image:ghcr.io/open-webui/open-webui:main environment:-OLLAMA_API_BASE_URLhttp://ollama:11434/api-HF_ENDPOINThttps://hf-mirror.com-WEBUI_NAMELZW的LLM服務# 禁用 OPENAI API 的請求。若你的網絡環境無法訪問 openai請務必設置該項為 false# 否則在登錄成功時會因為同時請求了 openai 接口而導致白屏時間過長-ENABLE_OPENAI_APIfalse# 設置允許跨域請求服務的域名。* 表示允許所有域名-CORS_ALLOW_ORIGIN*# 開啟圖片生成-ENABLE_IMAGE_GENERATIONtrue# 默認模型-DEFAULT_MODELSdeepseek-r1:8b# RAG 構建本地知識庫使用的默認嵌入域名-RAG_EMBEDDING_MODELbge-m3 ports:-8080:8080volumes:-./open_webui_data:/app/backend/data extra_hosts:# - host.docker.internal:host-gateway這里需注意environment環境變量部分的自定義設置。許多設置也可以通過登錄后在 web 界面進行修改。在該目錄下執行該命令以啟動服務docker-compose up -d。成功后即可通過瀏覽器訪問http://localhost:8080。服務鏡像更新參考# 拉取新鏡像docker-compose pull# 重啟服務docker-compose up-d--remove-orphans# 清理鏡像docker image pruneopen-webui 詳細文檔參考https://docs.openwebui.com/getting-started/env-configuration可選開啟“聯網搜索”功能操作路徑設置 - 聯網搜索 - 啟用聯網搜索當前已支持接入的聯網搜索引擎中在不需要魔法上網的情況下有 bing 和 bocha 可以選擇接入?；局恍枰巴圆@取 API KEY 回填到這里即可。如果需要保護隱私數據請不要開啟并配置該功能。博查文檔https://aq6ky2b8nql.feishu.cn/wiki/XgeXwsn7oiDEC0kH6O3cUKtknSR總結與參考通過以上內容我們了解了 ollama 在國內環境下的安裝使用方法并介紹了因為國內網絡特色導致安裝過程可能會遇到的常見問題及解決辦法。希望這些內容對你有所幫助。最后的最后感謝你們的閱讀和喜歡作為一位在一線互聯網行業奮斗多年的老兵我深知在這個瞬息萬變的技術領域中持續學習和進步的重要性。為了幫助更多熱愛技術、渴望成長的朋友我特別整理了一份涵蓋大模型領域的寶貴資料集。這些資料不僅是我多年積累的心血結晶也是我在行業一線實戰經驗的總結。這些學習資料不僅深入淺出而且非常實用讓大家系統而高效地掌握AI大模型的各個知識點。如果你愿意花時間沉下心來學習相信它們一定能為你提供實質性的幫助。這份完整版的大模型 AI 學習資料已經上傳CSDN朋友們如果需要可以微信掃描下方CSDN官方認證二維碼免費領取【保證100%免費】大模型知識腦圖為了成為更好的 AI大模型 開發者這里為大家提供了總的路線圖。它的用處就在于你可以按照上面的知識點去找對應的學習資源保證自己學得較為全面。經典書籍閱讀閱讀AI大模型經典書籍可以幫助讀者提高技術水平開拓視野掌握核心技術提高解決問題的能力同時也可以借鑒他人的經驗。對于想要深入學習AI大模型開發的讀者來說閱讀經典書籍是非常有必要的。實戰案例光學理論是沒用的要學會跟著一起敲要動手實操才能將自己的所學運用到實際當中去這時候可以搞點實戰案例來學習。面試資料我們學習AI大模型必然是想找到高薪的工作下面這些面試題都是總結當前最新、最熱、最高頻的面試題并且每道題都有詳細的答案面試前刷完這套面試題資料小小offer不在話下640套AI大模型報告合集這套包含640份報告的合集涵蓋了AI大模型的理論研究、技術實現、行業應用等多個方面。無論您是科研人員、工程師還是對AI大模型感興趣的愛好者這套報告合集都將為您提供寶貴的信息和啟示。這份完整版的大模型 AI 學習資料已經上傳CSDN朋友們如果需要可以微信掃描下方CSDN官方認證二維碼免費領取【保證100%免費】