Groq 是一個提供免費線上使用開源語言模型的平台,使用自行研發的 LPU(Language Processing Unit) 而非常見的 GPU,可以用更少的硬體資源,提供更快的推理速度。同時 Groq 平台還提供了免費的 OpenAI 兼容 API,讓我們可以以此來呼叫 Llama 3 70B 的模型,將他用在一些專案上。今天就來跟大家介紹如何使用。
網站網址:
https://groq.com/
Groq網站基本使用教學
1. 註冊 Groq 帳號:
首先,我們先到 Groq 的網站,在左下角可以登入並註冊 Groq 的帳號。Groq 平台可以直接使用 Google 帳號登入,不需要手機驗證等步驟,非常方便。
2. 選擇模型:
登入後,在右上角可以選擇要使用的模型,目前 Groq 提供 Llama 3 8B、Llama 3 70B、Gemma 7B、Mixtral 8x7B 等模型。
3. 輸入文字測試:
選好模型輸入文字,就可以開始使用了。
LPU 的速度有多驚人
從以下的圖可以看到,輸入「你好」進行測試。Groq 幾乎瞬間就跑出結果了!速度高達 1364 Tokens/s!
一般家用主機最高階顯示卡 RTX 4090 使用 llama.cpp 跑 Llama 3 8B FP16 精度,速度大約是 50 多 Tokens 每秒。而 Groq 確跑出了高達 1364 Tokens/s 的速度,差了幾十倍。
測試數據來源: https://github.com/XiongjieDai/GPU-Benchmarks-on-LLM-Inference
再隨便輸入幾個問題測試看看,可以看到 Groq 的速度大約都落在 1200 ~ 1300 Tokens/s 左右,真的非常驚人!
Groq 的 OpenAI 兼容 API
除了直接在網頁上使用,Groq 還提供了 OpenAI 兼容的免費 API,讓我們可以透過 API 來使用一些第三方的聊天介面,像是 NextChat 等,或者也可以將它使用在一些需要調用 ChatGPT API 的專案裡,免費使用 Llama 3 等開源大型語言模型來代替 ChatGPT。
Groq API 使用教學
1. 進入 GroqCloud 後台:
點擊畫面下方「GroqCloud」選項進入後台。
2. 取得 API Base URL:
點擊左側「Documentation」>「API Reference」,就可以看到 API 網址。這邊大家就根據不同專案的需求,選擇要複製到整串網址的哪個位置。
目前的 API 網址是: https://api.groq.com/openai/v1/chat/completions
3. 取得 API Key:
點擊左側選單「API Keys」,進入 API Keys 頁面,點擊「Create API Key」按鈕,命名後點擊「Submit」即可看到 API Key。注意!這個API只會在 Submit 後的視窗出現,關掉該視窗後便無法再查看。
4. 設定第三方應用程式:
將 API Base URL 和 API Key 貼到要使用的第三方應用程式,例如 NextChat。
5. 開始使用:
選擇 Groq 提供的模型,例如 Llama 3 70B,即可開始使用。
Groq 的 Whisper 語音轉文字功能
Groq 的 API 也支援使用 Whisper 語音轉文字模型,我們可以直接使用 GroqCloud 上方的「Playground」來測試 Whisper 的效果。
1. 選擇 Whisper 模型:
在 Playground 頁面,選擇「whisper-large-v3」模型。
2. 上傳音檔:
點擊錄音或上傳檔案按鈕,選擇要轉錄的音檔。
3. 開始轉錄:
點擊「Submit」開始轉錄,Groq 的轉錄速度非常快,8 分鐘的音檔大約只需要 4-5 秒就能完成。
4. 轉換成 SRT 字幕檔:
目前 Playground 轉錄出來的字幕是沒辦法直接使用的,我們需要使用工具轉換一下,這邊我有簡單的製做了一個小工具(用 Claude 3.5 Sonnet 作的),點擊「Copy JSON」複製轉錄結果,然後到 Hugging Face Space 上的小工具,貼上 JSON 並點擊轉換,即可下載 SRT 字幕檔。
工具連結:
https://huggingface.co/spaces/ADT109119/Whisper-JSON-to-SRT
END
Groq 是一個非常佛心的平台,提供了免費且超高速的開源語言模型服務,OpenAI 兼容的 API 也讓它更容易被使用在各種專案上。在 GitHub 上載的一些需要使用 ChatGPT API 的專案,有些就可以使用 Groq 的 API 來改成使用 Llama 3 70B 模型(雖然說效果可能沒有比 ChatGPT 好,但至少免費,然後速度很快)。