Gemini 2.0 是目前最強大的多模態AI模型,可支援全新類型的AI代理,讓其具備視覺、聽覺及多步驟推理能力。該模型的核心應用包括 Project Astra 和 Project Mariner,這些研究原型展示了通用AI助理的潛力。
主要特點:
- 多模態感知與記憶
Gemini 2.0 可即時分析周遭環境。例如,當被問及一座雕塑時,AI能辨識其為「My World and Your World」,並提供藝術家Eva Rothschild的背景及作品主題。 - 多語言切換能力
該系統支持多語言對話,能無縫切換語言,如用法語及泰米爾語進行互動,提供多元文化背景資訊。 - 多步驟任務處理
Project Mariner 展示了AI在執行複雜任務中的能力,例如搜尋藝術家資料、找到相關畫作並購買所需的材料,確保用戶始終掌控過程。 - 虛擬與物理世界應用
AI能分析遊戲中的基地佈局並提供攻擊策略,或應用於機器人,協助日常生活中的物理操作,如理解3D空間及物件的關係。
Gemini 2.0 展示了跨領域應用的可能性,為下一代多模態AI代理鋪平了道路。了解更多詳情,請訪問 deepmind.google/gemini。
Project Astra
Summary
這段內容介紹了Project Astra,一款未來型的通用AI助手原型。這個助手使用Gemini 2.0模型,具備許多智能功能,例如記憶門禁密碼、解讀洗衣標籤、提供地點建議、語音翻譯、查詢天氣、路線指引等。影片展示了該助手在倫敦街頭的實測,並且涵蓋了多語言功能及與使用者互動的各種情境,展示了AI如何在日常生活中提供便捷協助。
Highlights
- Project Astra AI助手:利用Gemini 2.0模型,具備記憶、語音理解、指令執行等功能,能協助處理日常事務。
- 多場景應用測試:從解讀洗衣標籤、提供餐廳推薦、到路線規劃,展示了AI的多樣化功能。
- 多語言支援:AI可與不同語言的朋友進行互動,回答各種問題,並提供文化背景知識。
- 天氣查詢功能:AI能即時提供天氣預報和提醒,例如查詢倫敦是否會下雨。
- 地點與路徑指引:可提供周邊地點資訊,如最近的超市、景點及公園,並提供相應的交通建議。
- 個人化記憶功能:記住用戶的個人信息,例如門禁密碼,並能隨時提供回應。
keyword
- AI助手
- 智能助手
- Project Astra
Project Mariner
Summary
「Project Mariner」是一個研究原型,探索人類與人工智能代理的互動,並基於Gemini 2.0技術。這個專案作為Chrome的實驗性擴充功能,能夠協助使用者完成繁瑣的多步驟任務,如從Google Sheets中提取公司名並查找聯絡郵件地址。該AI代理能在瀏覽器中執行任務,並能夠展示其運作過程,讓使用者理解其推理過程。目前處於初期階段,並與信任的測試者合作進行改進。
Highlights
- Project Mariner: 這是一個基於Gemini 2.0技術的AI代理,旨在改善人類與AI代理的互動。
- Chrome擴充功能: 此研究原型以Chrome擴充功能的形式運行,專門用於處理多步驟任務。
- Google Sheets資料處理: 用戶可以將Google Sheets中的公司名輸入,讓AI自動搜尋相關網站並獲取聯絡郵件。
- AI推理過程可視化: 使用者能夠在操作過程中看到AI代理的推理步驟,進一步理解其決策過程。
- 人類參與: 該系統強調在過程中需要保持人類的監控和介入,確保AI執行的準確性與可靠性。
- 改進階段: 專案仍在初期階段,並正在通過測試者的反饋進行改進,以提升效能和流暢度。
keyword
- 人工智慧
- 瀏覽器擴充
- 自動化任務