Featured image of post 【HuggingChat】免費使用Llama 2 70B、Mixtral 8x7B等大型語言模型|可自訂Assistant 擁有類似GPTs的功能

【HuggingChat】免費使用Llama 2 70B、Mixtral 8x7B等大型語言模型|可自訂Assistant 擁有類似GPTs的功能

最近Hugging Face的HuggingChat新增了Assistant功能,讓我們可以免費在HuggingChat上使用各種開源語言模型的同時,擁有類似GPTs的體驗。今天正好就趁這個機會,來跟大家介紹一下HuggingChat。

最近Hugging Face的HuggingChat新增了Assistant功能,讓我們可以免費在HuggingChat上使用各種開源語言模型的同時,擁有類似GPTs的體驗。今天正好就趁這個機會,來跟大家介紹一下HuggingChat

HuggingChat 網址:
https://huggingface.co/chat/

HuggingChat介面

HuggingChat 介紹

HuggingChat 是由知名的 AI 開源平台 Hugging Face 所創建。我們可以在裡面免費使用一些目前效果最好的開源語言模型,而且基本上是沒有什麼使用限制的。

在第一次打開這個網頁時,它會詢問是否要使用 Hugging Face 帳號登入。我們即便點選以訪客試用的選項,其實幾乎所有功能也都可以正常使用。我們一樣可以使用那些語言模型進行對話,也一樣可以使用這次更新的 Assistant 功能。

不登入 Hugging Face 帳號的差別主要就是我們沒有辦法在多個裝置或瀏覽器中同步我們的對話記錄,以及無法創建一個新的 Assistant。 所以想要自己創建 Assistant 的觀眾,還是得乖乖登入帳號。

第一次開啟網頁會詢問是否登入Hugging Face帳號 不登入無法創新的Assistant

HuggingChat 使用教學

在使用方面,Hugging Face 所提供的這個介面,使用起來算是非常直觀。

在新對話的開始,我們可以在畫面中間偏右上方,看到目前我們所選擇使用的模型。點擊設定,我們就可以調整能夠使用的語言模型,像是被評價與 GPT-3.5 相當的 Mixtral 8x7B,以及最近公開的 Code Llama 70B 等,基本上就是目前效果最好的那一批語言模型

初始頁面的右上方顯示著目前的模型 有多種模型可以選擇

選完模型後,我們就可以直接輸入文字,開始進行對話。在詢問完第一個問題之後,它也會像是 ChatGPT 一樣,將此對話命名,並顯示於左側的歷史記錄。

此外,HuggingChat 也有支援網路搜尋的功能,可以讓我們在使用時,更加確保 AI 提供的資訊正確性。

HuggingChat具有網路搜尋的功能

然後在設定裡,其實我們也可以設定 System Prompt,使模型在沒有 Assistants 的狀況下,一定程度上的來符合我們的需求。

模型可設定System Prompt

HuggingChat 的 AI Assistant 功能

接下來,就要來講到這次更新的 Assistants 功能。

使用其他人創建好的 Assistant

Assistant 的功能,我們可以在左下角點擊 Assistants 的選項,點進去,就能夠看到許多不同大家創建的 Assistants。

於Assistants頁面可以看到大家所創建的各種Assistants

找到想要使用的 Assistants 後,就可以跟該 Assistant 對話。點開 Setting,我們則是可以看到該 Assistant 所使用的模型以及提示詞

找到想要的Assistant便可以開始對話

像是這邊,我所點開的這個 Website Designer,所使用的就是在經過特殊微調版的 Mixtral 8x7b。至於它的系統提示詞的部分,這邊它所寫的主要是將使用者輸入一間公司,然後由該 Assistant 產出一個 Landing Page。

點開設定可以看到Assistant使用的模型與提示詞

這邊我輸入 a microphone company 來測試一下他的生效果

Assistant測試1

創建自己的 Assistant

當然,除了使用其他人已經創建好的 Assistants 之外,我們也可以自己創建自己想要的 Assistants。

我們一樣點選左下角選單的 Assistants 選項,進到 Assistants 頁面,在右上角我們就可以看到 Create New Assistant 的按鈕。點下去後,在這裡我們就可以開始創建我們自己的 Assistants 了。

創建 Assistant

在創建介面裡,除了各種設定之外,我們還可以看到目前我們所創建的所有 Assistants 都會直接公開,其他人是可以使用的。可能是因為這個功能目前是處於Beta階段,未來也許會改成能自定要不要公開,但目前就是不行,這點要多加留意。

目前創建 Assistant 會被強制公開

Assistants 裡面主要我們可以設定的東西有:

  • Avatar: 顯示的圖片
  • Name: Assistant名稱
  • Description: 簡介
  • Model: 使用的模型
  • User start message: 預設訊息,可以在新對話頁面點選,快速開始對話
  • System prompt: Assistant 的運作邏輯提示

圖片、名稱、簡介等基本上不影響 Assistant 的使用,只要方便自己辨識就可以了。

至於模型的部分,目前感覺效果最好的就是 Mixtral-8x7B-Instruct-v0.1 以及 Nous-Hermes-2-Mixtral-8x7B-DPO,不管是在程式以及對話表現,Mixtral-8x7B 都相當優秀,大家基本上可以直接無腦選這兩個。

以下附上 Mixtral-8x7B 的測試表現,可以看到 Mixtral-8x7B 已經相當接近 ChatGPT 的表現了,實際使用下來,對話也相當流暢,寫程式也沒什麼問題。

Mixtral-8x7B測試成績

另外,openchat-3.5-0106 應該是目前 7b 模型中最好的選擇,大家不妨也可以試試看。

至於 Code Llama 70B,我只能說它的表現讓我相當失望,我讓它生成語音辨識的程式,它竟然生成文字轉語音的程式。(以下附上影片)

在各個選項設定好後,我們只需要按下 Create,就可以得到屬於我們自己的 Assistant 了

填完資料案 Create 創建 創建完成會生成一個連結 打開連結便可以開始與自己的Assistant對話

透過 AI Assistant,使用者可以自定義出非常適合自己使用情境的 AI 服務。這項功能目前還在 Beta 階段,使用上還有改善空間,但已展現出強大的應用潛力。

最後再提醒一件事情,可能已經有細心的觀眾發現了。當我們在使用 Assistant 的時候,下方文字輸入框那邊,少了 Search Web 的這個選項。也就是說在目前這個階段還沒有辦法在使用 Assistant 時利用網路來確保 AI 生成資料的正確性。大家在使用的時候要自己稍微留意一下。

目前使用Assistant時無法使用 Search Web 功能

End

Hugging Face 推出的 HuggingChat,已經是一個功能強大的 AI 聊天與工作平台。透過這次的 Assistant 更新,讓一般使用者也能體驗到使用 GPTs 的方便,而且還無須付費就能使用。

並且,目前 Hugging Face 有將 HuggingChat 的 UI 介面開源在 GitHub 上,有需要自行搭建服務的人,都可以透過這個開源的介面,方便的搭建服務。

chat-ui 的 GitHub 連結:
https://github.com/huggingface/chat-ui

chat-ui開源

影片介紹