現在大部分聊天機器人都是基於雲端處理消息再回覆,而之前有消息爆料開源項目 MLC LLM 能在本地編譯基礎上使用語言模型。近日 CMU 助理陳天其教授表示, 獨立的 MLC Chat App 現在在 Apple App Store 可以找到。 喜歡的朋友可以下載體驗。
MLC Chat app is now on @AppStore Checkout it out!
Chat with open language models running on your iPad and iPhone, offline, locally, no data collected
https://t.co/CVUuj7OfZi pic.twitter.com/vQvvljpaXQ— Tianqi Chen (@tqchenml) June 4, 2023
在 MLC LLM 項目介紹中描述「MLC LLM 是一種通用解決方案,它允許將任何語言模型本地部署在一組不同的硬件後端和本地應用程式上,此外還有一個高效的框架,供每個人進一步優化自己用例的模型性能。 一切都在本地運行,無需伺服器支援,並通過手機和筆記型電腦上的本地 GPU 加速」。
在 GitHub 頁面顯示該項目的開發者由卡內基梅隆大學的 Catalyst 計劃、SAMPL 機器學習研究小組以及華盛頓大學、上海交通大學和 OctoML 等組成。他們還參加的 Web LLM 的相關項目可以基於網絡瀏覽器中使用 AI 聊天機器人。