Google 一直在著手讓 Gemini 操控 Android 手機，近期關於該「屏幕自動化」功能的具體實現細節被曝光了出來。
根據 9to5google 的透露，在 Google App v17.4 測試版中，出現了名為「借助 Gemini 完成任務」功能的相關字符串。該實驗室功能的內部代號為「倭黑猩猩（bonobo）」。介紹文本顯示「Gemini 可通過屏幕自動化技術，在你設備上指定應用中完成下單、預約出行等各類任務。」
自動操作功能也可以稱為屏幕自動化，Google 已在 Android 16 QPR3 版本中打下技術基礎，實現功能在指定應用中的開放使用。由於功能不夠完善，Google 提醒稱「Gemini 可能會出現操作失誤」，且「你需對其代你執行的操作承擔責任，因此請密切監督其運行。」用戶可隨時終止該智能體的操作，手動接管任務執行。
私隱相關說明如下：
「當 Gemini 與應用交互時，若開啓了活動記錄保存功能，截取的屏幕畫面將經過專業審核人員核查，並用於改善 Google 各項服務。」
「請勿在 Gemini 對話界面輸入登錄憑證或支付信息。避免使用屏幕自動化功能處理緊急事務或涉及敏感信息的任務。」
值得一提的是，測試版本還出現了內部代號為「芥末（wasabi）」的數碼形象（Likeness）功能及集成相關字符串。恰恰 Android XR 系統中該代號指的是目前 Google Meet 通話中使用的 3D 虛擬形象，在其中的一段字符串中顯示該功能可以通過指令調用。
