Google I/O 2024 | Gemini 將直接加入 Android 中,並能理解背景的 app 內容

可以問底下播放的影片,或是將生成的圖片拖進聊天裡

Android Gemini
Android Gemini

在 Google I/O 2024 大會上,Google 不意外地宣布了 Gemini AI 聊天機器人將更進一步整合到 Android 內,成為 Android 系統和使用體驗的一部份。所謂的「整合」是什麼意思呢?主要就是 Gemini 將更能了解所在的情境。未來它隨著 Android 15 推出後,Gemini 將會是一個「浮動」在你的 app 之上的服務,當你使用 Gemini 時,它能「看到」你正在使用的 app,並調整回覆或查詢。

Google 給出的例子,是一個名為「詢問此視頻(Ask this Video)」的功能,可以讓你對底下正在播放的 YouTube 影片提問。類似的應用是 PDF 文件,讓 Gemini 可以直接看到背後的 PDF 文件內容,並且回答相關的問題。此外,你在 Gemini 裡生成的圖像,也將可以直接插入到底下的 Gmail 信件,或是聊天 app 裡了。

這項技術的發展方向並不難看出 —— 一旦 Gemini 可以和大部分的 app 對接後,它就有機會兌現像 Humane 和 Rabbit 等 AI 硬體公司所承諾的一些功能。 Google 表示,他們只是「剛剛開始探索裝置上的 AI 如何改變手機的功能」,因此究竟和 app 間的整合能走到什麼地步,還要再看看了。

現有的「圈選搜尋」功能也可望因此而獲得提升。用戶將能夠圈選手機上的任何內容丟進 Gemini 中,而不僅是簡單的搜尋。這甚至擴展到數學和物理問題上,學生只需圈選題目,即可得到答案 —— 當然,考試時不能帶手機的,所以學生還是要乖乖學會怎麼做題,別真的全丟給 AI 囉。