DeepSeek在1/28發布了多模態大模型Janus-Pro，展示了其在多模態理解與生成領域的創新與突破。以下是對該模型的深入解讀：
1. DeepSeek Janus-Pro技術文章解讀
Janus-Pro採用了解耦視覺編碼的架構設計，將多模態理解與生成任務分離處理。具體而言，模型透過獨立的視覺編碼路徑，分別處理圖像理解和圖像生成任務。這種設計有效緩解了兩者之間的潛在衝突，提高了模型的靈活性和可擴展性。此外，Janus-Pro引入了統一的自回歸Transformer架構，將圖像和文本特徵整合為一維序列進行處理，從而實現多模態資訊的高效融合。
https://github.com/deepseek-ai/Janus
2. 從DeepSeek Janus到JanusFlow，邁向終極Janus-Pro
Janus-Pro是在此前發布的Janus模型基礎上的升級版本。透過優化訓練策略、擴展資料集規模以及增加模型參數，Janus-Pro在多模態任務中的表現得到了顯著提升。具體而言，模型採用了三階段訓練策略，並引入了7200萬張高品質合成圖像資料，提升了生成圖片的審美品質和收斂速度。此外，Janus-Pro提供了1B和7B兩種參數規模的模型，以滿足不同應用場景的需求。
3. DeepSeek Janus-Pro實測效果
在實際測試中，Janus-Pro在多項基準測試中表現出色。在GenEval基準測試中，Janus-Pro-7B取得了80%的整體準確率，超越了OpenAI的DALL-E 3（67%）和Stable Diffusion 3 Medium（74%）。然而，儘管在性能指標上表現突出，部分用戶在實際應用中發現，Janus-Pro的圖像生成效果有時並不理想，存在生成圖像與預期語義不符的情況。
4. 對產業的思考與小結
Janus-Pro的發布標誌著多模態AI模型的又一重要進展。其在架構設計上的創新為多模態任務的處理提供了新的思路。然而，實際應用中的表現仍有提升空間，特別是在圖像生成的準確性和細節處理方面。未來，隨著技術的持續迭代和優化，期待Janus-Pro在更多應用場景中展現其潛力，為各行業的數位化轉型提供有力支持。
Janus Pro WebGPU 是專為瀏覽器內統一多模態理解和生成而設計的尖端應用程式。它運用了 Janus-Pro-1B 模型，這是為處理文字和影像輸入與輸出而開發的自回歸架構，使其成為各種 AI 任務的多用途工具。
Janus Pro WebGPU 概觀
- 架構:應用程式使用 React 和 Vite 建立，利用 Transformers.js 進行模型整合，並使用 WebGPU 進行硬體加速。
- 模型能力:Janus-Pro-1B 在多模式任務方面表現優異，可讓使用者輸入影像並接收產生的影像或以文字為基礎的回應。此機型特別值得注意的是，它能夠根據視覺輸入來詮釋和產生內容，展現出理解和產生視覺資料的先進能力。
- 效能:模型可在支援 WebGPU 的網頁瀏覽器 (例如 Chrome) 中有效運作。使用者已報告了顯著的效能優勢，包括比傳統 GPU 設定更快的推論時間。
開始使用 Janus Pro WebGPU
要在本機設定並執行 Janus Pro WebGPU 應用程式，請遵循以下步驟：
1. 確認系統需求
- 硬體： 確保您的系統配備支援 WebGPU 的 GPU，例如 NVIDIA RTX 20 系列或更新版本。
- 軟體： 使用支援 WebGPU 的瀏覽器，如 Chrome 113 以上版本。
2. 檢查瀏覽器設定
- 在 Chrome 瀏覽器中，前往
chrome://settings/system，確保啟用了「在可用時使用圖形加速功能」。
3.複製儲存庫: git clone https://github.com/huggingface/transformers.js-examples.git
4.導覽到專案目錄: cd transformers.js-examples/janus-webgpu
5.安裝相依性: npm install
6.執行開發伺服器: npm run dev 執行這些指令後，開啟瀏覽器並導航至 http://localhost:5173 與應用程式互動
型號規格
- 訓練:Janus-Pro-1B 使用輕量級分散式訓練框架進行訓練，在各種基準測試中都取得了優異的效能。它採用獨特的架構，將視覺編碼路徑分離為理解和生成任務，從而增強了穩定性和性能。
- 輸入限制:本模型最多支援 384 × 384 像素的影像輸入，這可能會影響其在光學字元識別 (OCR) 等細部任務中的效能。使用者可能會注意到，雖然產生的影像語義豐富，但可能會因為解析度的限制而缺乏細節。
- 開放原始碼:Janus Pro 採用開放原始碼授權許可，讓開發人員在遵守道德使用準則的同時，自由探索其功能。
相關連結：
