本地部署Dify與Ollama：打造專屬AI知識庫並實現遠程訪問

要在本地部署 Dify，結合 Ollama 大型語言模型，搭建專屬的 AI 知識庫並實現遠程訪問，您可以按照以下步驟進行：

1. 部署 Dify 應用開發平台

Dify 是一款開源的大型語言模型（LLM）應用開發平台，提供直觀的界面，結合 AI 工作流、RAG 管道、代理功能、模型管理等功能，支持快速從原型開發到生產。

• 環境要求：
• 操作系統：Linux（如 Ubuntu 22.04）
• Docker：版本 19.03 或更高
• Docker Compose：版本 1.25.1 或更高
• 安裝步驟：

1. 克隆 Dify 源碼：
   bash git clone https://github.com/langgenius/dify.git
2. 進入 Docker 目錄：
   bash cd dify/docker
3. 複製環境配置文件：
   bash cp .env.example .env
4. 啟動 Docker 容器：
   bash sudo docker-compose up -d
5. 檢查容器狀態：
   bash docker-compose ps
6. 在瀏覽器中訪問 http://localhost 或本機 IP 地址，設置管理員賬號，進入 Dify 主界面。

啟動Docker：
winx@DESKTOP-PGTOIRT:/dify/docker$ sudo service docker start

2. 部署 Ollama 本地模型

Ollama 是一個本地推理框架，允許開發者在本地部署和運行大型語言模型，如 Llama 2、Mistral 等。

• 安裝步驟：

1. 下載並安裝 Ollama：
   bash curl -fsSL https://ollama.com/install.sh | sh
2. 運行模型（以 Llava 為例）：
   bash ollama run llava
   成功啟動後，Ollama 在本地 11434 端口啟動 API 服務，可通過 http://localhost:11434 訪問。

3. 在 Dify 中接入 Ollama 模型

• 配置步驟：

1. 在 Dify 主界面，點擊右上角用戶名，選擇「設置」>「模型供應商」>「Ollama」。
2. 填寫以下信息：
   • 模型名稱：llava
   • 基礎 URL：http://<本機IP地址>:11434（若 Dify 為 Docker 部署，建議填寫局域網 IP 地址，如 http://192.168.1.100:11434）
   • 模型類型：對話
   • 模型上下文長度：4096
   • 最大 token 上限：4096
   • 是否支持 Vision：是（當模型支持圖片理解時勾選，如 llava）
3. 點擊「保存」，校驗無誤後即可在應用中使用該模型。

4. 實現遠程訪問

為了在外部網絡中訪問本地部署的 Dify，您可以使用內網穿透工具，如 cpolar，將本地服務映射到公網。

• 安裝 cpolar：

  curl -fsSL https://get.cpolar.sh | sudo sh

• 配置步驟：

1. 啟動 cpolar 服務：
   bash sudo systemctl start cpolar
2. 訪問 cpolar 管理界面：在瀏覽器中輸入 http://localhost:9200，使用 cpolar 賬號登錄。
3. 創建隧道：
   • 隧道名稱：自定義，如 dify
   • 協議：http
   • 本地地址：80（Dify 的服務端口）
   • 域名類型：隨機域名
   • 地區：China
4. 創建成功後，在「在線隧道列表」中查看生成的公網地址，使用該地址即可在外部網絡中訪問本地部署的 Dify。

通過上述步驟，您即可在本地部署 Dify，結合 Ollama 大型語言模型，搭建專屬的 AI 知識庫，並實現遠程訪問。

如需更詳細的操作指南，您可以參考以下視頻教程：