現在大部分聊天機器人都是基於雲端處理消息再回覆,而之前有消息爆料開源項目 MLC LLM 能在本地編譯基礎上使用語言模型。近日 CMU 助理陳天其教授表示, 獨立的 MLC Chat App 現在在 Apple App Store 可以找到。 喜歡的朋友可以下載體驗。


在 MLC LLM 項目介紹中描述「MLC LLM 是一種通用解決方案,它允許將任何語言模型本地部署在一組不同的硬件後端和本地應用程式上,此外還有一個高效的框架,供每個人進一步優化自己用例的模型性能。 一切都在本地運行,無需伺服器支援,並通過手機和筆記型電腦上的本地 GPU 加速」。

GitHub 頁面顯示該項目的開發者由卡內基梅隆大學的 Catalyst 計劃、SAMPL 機器學習研究小組以及華盛頓大學、上海交通大學和 OctoML 等組成。他們還參加的 Web LLM 的相關項目可以基於網絡瀏覽器中使用 AI 聊天機器人。

_______

更多平台立即 Follow:Qooah IG (@qooah)Qooah YouTube,八掛產品發佈會現場,睇盡靚靚 Show Girls