不管你喜不喜歡短影音,不可否認的是,現在幾乎可說是「短影音當道」的時代,TikTok 爆紅後,FB 推出 Reels、YouTube 推出 Shorts,這些平台也都在大力推廣短影音。
今天要來跟大家分享一個蠻有趣的開源專案,叫做 MoneyPrinterTurbo,它可以用 AI 自動生成短影片!這個專案是從 MoneyPrinter 改良而來,針對中文做了優化。 我們只需要設定好 API Key,輸入想要的主題,就能使用語言模型生成文稿、自動找素材、AI 配音,最後輸出影片!今天就來帶大家看看,如何在自己的電腦上使用這個專案!
使用 MoneyPrinterTurbo 需要準備什麼?
開始使用之前,我們要先準備好兩個 API Key:
-
語言模型 API Key:MoneyPrinterTurbo 支援 OpenAI、Gemini 等 API,也可以使用其他與 OpenAI 兼容的 API,像是 Groq,或是使用在本機上跑開源模型的 Ollama。
至於 OpenAI 的 API Key 如何獲取,這邊就不再多做介紹了,網路上有很多教學。Gemini 以及 Groq 的 API 我之前有寫過文章,有需要的可以自行過去看看。
-
影片素材網站 API Key:這個專案目前支援使用 Pexels 跟 Pixabay 這兩個免費素材網站,這邊會用 Pexels 示範。
如何取得 Pexels API Key?
-
打開 Pexels 網站 (https://www.pexels.com/),註冊帳號(可用 Google 帳號快速註冊)。
-
將滑鼠游標移到右上角的頭像,點選「Image & Video API」。
-
點擊「Your API Key」按鈕,簡單填寫生成的 API Key 的資訊,勾選同意服務條款,即可按生成 API Key 的按鈕。
下載 MoneyPrinterTurbo
接下來就是下載 MoneyPrinterTurbo 的程式本體,作者很佛心的提供了 Windows 系統的免安裝整合包,讓我們免去安裝函式庫的各種麻煩步驟以及除錯,以下就簡單的告訴大家如何下載。
-
進入 MoneyPrinterTurbo 的 GitHub 頁面。
MoneyPrinterTurbo 連結:
https://github.com/harry0703/MoneyPrinterTurbo -
進入「Releases」頁面,下載「MoneyPrinterTurbo-Portable-Windows-xxx.7z」。
-
下載完解壓縮,點開資料夾內的「start.bat」,專案就會啟動。
正常情況下,它會自動開啟專案的 Web UI,如果沒有開啟的話,可以自己打開瀏覽器,輸入 localhost:8501
也一樣可以看到專案的使用介面。
如果看到以下這個介面的話,那麼恭喜你,設定就快要完成了!
MoneyPrinterTurbo 基礎設定
點開上方的「基礎設置」折疊欄位,設定語言模型供應商、API Key 以及 Pexels 的 API Key。
語言模型的部分,這邊示範使用 Google Gemini,因為 Gemini 1.5 Pro 是目前有提供免費 API 的語言模型中表現最好的,我自己測試起來,感覺它的文筆蠻好的,在寫中文文章的這方面,可能甚至表現得比 GPT-4 還好。
填入 API Key 以及手動填入模型名稱(gemini-1.5-pro-latest
),然後在右側將 Pexels 的 API Key 貼上,就可以將「基礎設置」收起來了。
使用步驟
生成影片文案
-
在最左側的區塊輸入想要的影片主題。
-
輸入完主題後,選擇語言(我這邊就選
zh-TW
),點擊下方的按鈕讓它生成文案以及關鍵詞。 -
生成完後,如果不滿意可以自行修改文案,調整一些內容細節或是一些用字。
設定影片、音頻、字幕
生成好文案後,接著我們要來設定生成影片的細節。
-
視頻設置:在這裡可以調整影片的素材來源、影片方向、素材的排列方式等,這邊不調整直接使用預設的設定也沒關係。
-
音頻設置:在這裡可以調整旁白的語音,這個專案是使用 edge-tts 來配音,也就是微軟的 AI 文字轉語音服務,裡面的中文台灣的選項有三種,選完後可以點擊下方的試聽按鈕,來生成試聽的音檔,聽聽看音色是否符合需求。
- 在這個區塊的最下方,可以設定旁白與背景音樂的音量,以及播放的背景音樂等。這個整合包裡面,它有內建一些預設的音樂,如果想要使用自己的音樂,可以打開專案的資料夾,點進「MoneyPrinterTurbo」,再點進「resource」資料夾,裡面會有個「songs」資料夾,將想要使用的音樂們替換進去就可以了。
- 在這個區塊的最下方,可以設定旁白與背景音樂的音量,以及播放的背景音樂等。這個整合包裡面,它有內建一些預設的音樂,如果想要使用自己的音樂,可以打開專案的資料夾,點進「MoneyPrinterTurbo」,再點進「resource」資料夾,裡面會有個「songs」資料夾,將想要使用的音樂們替換進去就可以了。
-
字幕設置:可以調整字幕要使用的字體,方法跟替換音樂一樣,將想要使用的字體丟入「resource」資料夾內的「fonts」資料夾,然後重整一下就可以看到選項出現了。
生成影片
調整完以上設定後,滾動到網頁的最底部,點擊「生成視頻」的按鈕,讓它開始執行。
這邊需要稍等一段時間,等待影片生成完成。
在生成完成之後,Web UI 上會顯示這個影片的預覽,同時它也會打開這個影片所存在的資料夾,接著就是看你要怎麼處理這個影片,要上傳到哪裡去的事情了。
調整字幕辨識設定
MoneyPrinterTurbo 的字幕是在生成完語音之後,使用 edge 或是 whisper 做語音辨識,然後再將每一行字幕與原始文稿匹配,只要不要差太多,通常就能匹配成功,顯示正確的字幕。
這個設定目前沒有放在 Web UI 上,需要進到它的資料夾內,點開 config.toml
,根據需求手動修改 subtitle_provider
的選項。
edge
在大部分情況下,其實它的辨識能力已經是足夠了,因為 edge-tts 的發音算是非常的標準。- 如果發現它的辨識情況非常的糟糕,可以考慮使用
whisper
來作為替代,將subtitle_provider
這個項目後面調整為whisper
後,我們可以在下方找到[whisper]
model_size
的設定,這邊可以輸入想要使用的模型大小。- 雖然說這個專案已經使用了 faster-whisper 來生成字幕,而非原生的 Whisper,佔用的硬體資源不會這麼多,但依舊會比 edge 的語音辨識還需要佔用更多的硬體資源,以及需要更長的語音辨識時間,所以非必要,其實不太建議將字幕辨識調整為使用 Whisper。
MoneyPrinterTurbo 生成影片範例
最後,我們就來簡單看一下剛剛用這個專案生成出來的影片,實際上播起來長什麼樣子吧!
總結
以上就是今天文章的全部內容,希望這篇文章的內容有幫助到大家。
雖然說 MoneyPrinterTurbo 的生成效果可能還可以在改進,甚至硬要說的話,像是剪映等閉源的商業軟體,效果可能都比他更好。但 MoneyPrinterTurbo 的優勢,就在於他是一個開源專案,我們可以設定自己想要用的語言模型,同時也比較不容易被各大公司割韭菜。未來專案也有很多可以改進的機會。