本地部署Dify與Ollama：打造專屬AI知識庫並實現遠程訪問

Dify是一款開源的大型語言模型（LLM）應用開發平台，融合了後端即服務（Backend as a Service）和LLMOps的理念，旨在協助開發者快速構建生產級的生成式AI應用。

即使您沒有編程背景，也能輕鬆參與AI應用的定義和數據運營。

Dify的主要功能包括：

• 應用構建： 提供直觀的提示編排界面，支持多種模型的集成，方便開發者創建和管理AI應用。
• 模型管理： 支持接入多種開源模型，如Hugging Face、Replicate等，滿足不同場景的需求。
• 插件開發： 允許開發者創建並發布插件，擴展應用功能，並可將插件發布至Dify Marketplace。

入門指南：

1. 註冊與登錄： 前往Dify官方網站，使用GitHub或Google帳戶註冊並登錄。
2. 配置模型供應商： 在使用前，需配置至少一個模型供應商，如OpenAI API。
3. 創建應用： 在Dify平台上，新建應用並根據需求進行配置，可使用內置的提示編排工具設計應用邏輯。
4. 部署與測試： 完成應用設計後，可直接在平台上進行部署和測試，確保應用正常運行。

要在本地部署 Dify，結合 Ollama 大型語言模型，搭建專屬的 AI 知識庫並實現遠程訪問，您可以按照以下步驟進行：

1. 部署 Dify 應用開發平台

Dify 是一款開源的大型語言模型（LLM）應用開發平台，提供直觀的界面，結合 AI 工作流、RAG 管道、代理功能、模型管理等功能，支持快速從原型開發到生產。

• 環境要求：
• 操作系統：Linux（如 Ubuntu 22.04）
• Docker：版本 19.03 或更高
• Docker Compose：版本 1.25.1 或更高
• 安裝步驟：

1. 克隆 Dify 源碼：
   bash git clone https://github.com/langgenius/dify.git
2. 進入 Docker 目錄：
   bash cd dify/docker
3. 複製環境配置文件：
   bash cp .env.example .env
4. 啟動 Docker 容器：
   bash sudo docker-compose up -d
5. 檢查容器狀態：
   bash docker-compose ps
6. 在瀏覽器中訪問 http://localhost 或本機 IP 地址，設置管理員賬號，進入 Dify 主界面。

啟動Docker：
winx@DESKTOP-PGTOIRT:/dify/docker$ sudo service docker start

2. 部署 Ollama 本地模型

Ollama 是一個本地推理框架，允許開發者在本地部署和運行大型語言模型，如 Llama 2、Mistral 等。

• 安裝步驟：

1. 下載並安裝 Ollama：
   bash curl -fsSL https://ollama.com/install.sh | sh
2. 運行模型（以 Llava 為例）：
   bash ollama run llava
   成功啟動後，Ollama 在本地 11434 端口啟動 API 服務，可通過 http://localhost:11434 訪問。

3. 在 Dify 中接入 Ollama 模型

• 配置步驟：

1. 在 Dify 主界面，點擊右上角用戶名，選擇「設置」>「模型供應商」>「Ollama」。
2. 填寫以下信息：
   • 模型名稱：llava
   • 基礎 URL：http://<本機IP地址>:11434（若 Dify 為 Docker 部署，建議填寫局域網 IP 地址，如 http://192.168.1.100:11434）
   • 模型類型：對話
   • 模型上下文長度：4096
   • 最大 token 上限：4096
   • 是否支持 Vision：是（當模型支持圖片理解時勾選，如 llava）
3. 點擊「保存」，校驗無誤後即可在應用中使用該模型。

4. 實現遠程訪問

為了在外部網絡中訪問本地部署的 Dify，您可以使用內網穿透工具，如 cpolar，將本地服務映射到公網。

• 安裝 cpolar：

  curl -fsSL https://get.cpolar.sh | sudo sh

• 配置步驟：

1. 啟動 cpolar 服務：
   bash sudo systemctl start cpolar
2. 訪問 cpolar 管理界面：在瀏覽器中輸入 http://localhost:9200，使用 cpolar 賬號登錄。
3. 創建隧道：
   • 隧道名稱：自定義，如 dify
   • 協議：http
   • 本地地址：80（Dify 的服務端口）
   • 域名類型：隨機域名
   • 地區：China
4. 創建成功後，在「在線隧道列表」中查看生成的公網地址，使用該地址即可在外部網絡中訪問本地部署的 Dify。

通過上述步驟，您即可在本地部署 Dify，結合 Ollama 大型語言模型，搭建專屬的 AI 知識庫，並實現遠程訪問。

如需更詳細的操作指南，您可以參考以下視頻教程：

實踐案例：

Dify作為開源的大型語言模型（LLM）應用開發平台，已在多個領域展現其強大的實踐應用能力。以下是一些具體案例：

• 1. 內容創作自動化
• BestBlogs.dev網站利用Dify的工作流功能，實現了文章的自動化分析與處理。透過Dify，該網站能夠自動生成文章摘要、關鍵詞、主要觀點等，提升了內容處理的效率和質量。
• 2. 教育領域的智能輔導
• 某線上教育平台運用Dify開發了智能輔導系統。該系統能分析學生的學習行為和問題，並自動生成個性化的學習資源，提升了教學質量與學習體驗。
• 3. 醫療報告自動生成
• 在醫療行業，Dify被用於自動生成患者的醫療報告。系統能提取患者的症狀、檢查結果和醫生的診斷，快速生成標準化的報告，減少醫生的文書工作量。
• 4. 金融市場分析
• 某投資公司利用Dify生成市場分析報告。系統結合歷史數據和當前市場趨勢，快速生成高質量的報告，為投資者提供決策支持。
• 5. 零售行業的個性化推薦
• 企業請假機器人： 利用Dify，無需編寫代碼即可快速構建企業請假機器人，實現自動化請假流程。
• 個人理財助手： 通過Dify，開發個人記帳機器人，使用自然語言輸入即可完成記帳操作。
• 電商平台運用Dify分析用戶的購物行為，生成個性化的商品推薦，提升了用戶的購物體驗和轉化率。
• 透過以上案例，Dify在各行各業中展現了其靈活性和高效性，為企業的數位化轉型提供了有力支持。

學習資源：

• 官方文檔： 詳細介紹了Dify的功能和使用方法，適合初學者入門。 https://docs.dify.ai/zh-hans
• 視頻教程： 提供了從安裝到應用實作的完整教學視頻，方便直觀學習。

透過以上資源，您可以快速掌握Dify的使用方法，並應用於實際項目中，提升開發效率。