最強組合 HuggingFace+ChatGPT=「賈維斯」現(xiàn)在開放 demo 了。

前段時間，浙大 amp; 微軟發(fā)布了一個大模型協(xié)作系統(tǒng) HuggingGPT 直接爆火。

研究者提出了用 ChatGPT 作為控制器，連接 HuggingFace 社區(qū)中的各種 AI 模型，完成多模態(tài)復雜任務。

整個過程，只需要做的是:用自然語言將你的需求輸出。

英偉達科學家稱，這是我本周讀到的最有意思的論文。它的思想非常接近我之前說的「Everything App」，即萬物皆 App，被 AI 直接讀取信息。

上手體驗

現(xiàn)在，HuggingGPT 增加了 Gradio 演示。

有網(wǎng)友便上手體驗了一番，先來「識別圖上有幾個人」？

具體過程如下:

首先使用圖像到文本模型 nlpconnect / vit-gpt2-image-captioning 進行圖像描述，生成的文本「2 個女人在有火車的街道上行走」。

再使用視覺問題回答模型 dandelin / vilt-b32-finetuned-vqa 得出結果。最后，系統(tǒng)提供了詳細的響應和用于解答問題的模型信息。

另外，讓它理解「我愛你」這句話的情感，并將其翻譯成泰米爾語。

HuggingGPT 調用了以下模型:

首先，使用了模型「dslim / bert-base-NER」對文本「l love you」進行情感分類，是「浪漫」。

然后，使用「ChatGPT」將文本翻譯成泰米爾語，即「Nan unnai kadalikiren」。

轉錄 MP3 文件時，HuggingGPT 卻失敗了。網(wǎng)友表示，「不確定這是否是我的輸入文件的問題?！?/p>

再來看看圖像生成的能力。

輸入「一只貓?zhí)琛箞D像上添加文字「I LOVE YOU」作為疊加層。

賈維斯照進現(xiàn)實

項目公開沒幾天，賈維斯已經(jīng)在 GitHub 上收獲了 12.5k 星，以及 811 個 fork。

研究者指出解決大型語言模型當前的問題，可能是邁向 AGI 的第一步，也是關鍵的一步。

因為當前大型語言模型的技術仍然存在著一些缺陷，因此在構建 AGI 系統(tǒng)的道路上面臨著一些緊迫的挑戰(zhàn)。

為了處理復雜的人工智能任務，LLMs 應該能夠與外部模型協(xié)調，以利用它們的能力。

因此，關鍵點在于如何選擇合適的中間件來橋接 LLMs 和 AI 模型。

在這篇研究論文中，研究者提出在 HuggingGPT 中語言是通用的接口。其工作流程主要分為四步:

首先是任務規(guī)劃，ChatGPT 解析用戶請求，將其分解為多個任務，并根據(jù)其知識規(guī)劃任務順序和依賴關系。

接著，進行模型選擇。LLM 根據(jù) HuggingFace 中的模型描述將解析后的任務分配給專家模型。

然后執(zhí)行任務。專家模型在推理端點上執(zhí)行分配的任務，并將執(zhí)行信息和推理結果記錄到 LLM 中。

最后是響應生成。LLM 總結執(zhí)行過程日志和推理結果，并將摘要返回給用戶。

假如給出這樣一個請求:

可以看到 HuggingGPT 是如何將它拆解為 6 個子任務，并分別選定模型執(zhí)行得到最終結果的。

通過將 AI 模型描述納入提示中，ChatGPT 可以被視為管理人工智能模型的大腦。因此，這一方法可以讓 ChatGPT 能夠調用外部模型，來解決實際任務。

簡單來講，HuggingGPT 是一個協(xié)作系統(tǒng)，并非是大模型。

它的作用就是連接 ChatGPT 和 HuggingFace，進而處理不同模態(tài)的輸入，并解決眾多復雜的人工智能任務。

所以，HuggingFace 社區(qū)中的每個 AI 模型，在 HuggingGPT 庫中都有相應的模型描述，并將其融合到提示中以建立與 ChatGPT 的連接。

隨后，HuggingGPT 將 ChatGPT 作為大腦來確定問題的答案。

到目前為止，HuggingGPT 已經(jīng)圍繞 ChatGPT 在 HuggingFace 上集成了數(shù)百個模型，涵蓋了文本分類、目標檢測、語義分割、圖像生成、問答、文本到語音、文本到視頻等 24 個任務。

實驗結果證明，HuggingGPT 可以在各種形式的復雜任務上表現(xiàn)出良好的性能。

網(wǎng)友熱評

有網(wǎng)友稱，HuggingGPT 類似于微軟此前提出的 Visual ChatGPT，似乎他們把最初的想法擴展到了一組龐大的預訓練模型上。

Visual ChatGPT 是直接基于 ChatGPT 構建，并向其注入了許多可視化模型。文中提出了 Prompt Manage。

在 PM 的幫助下，ChatGPT 可以利用這些 VFMs，并以迭代的方式接收其反饋，直到滿足用戶的要求或達到結束條件。

還有網(wǎng)友認為，這個想法確實與 ChatGPT 插件非常相似。以 LLM 為中心進行語義理解和任務規(guī)劃，可以無限提升 LLM 的能力邊界。通過將 LLM 與其他功能或領域專家相結合，我們可以創(chuàng)建更強大、更靈活的 AI 系統(tǒng)，能夠更好地適應各種任務和需求。

這就是我一直以來對 AGI 的看法，人工智能模型能夠理解復雜任務，然后將較小的任務分派給其他更專業(yè)的 AI 模型。

就像大腦一樣，它也有不同的部分來完成特定的任務，聽起來很符合邏輯。

參考資料: