跳至主要內容

【BallonsTranslator】免費、開源一鍵AI自動翻譯漫畫專案

前一段時間有位開發者在 GitHub 上開源了一個項目,叫做 BallonsTranslator。它可以做到一鍵翻譯漫畫,支援日文以及英文。今天就來跟大家介紹一下。

The Walking Fish 步行魚
The Walking Fish 步行魚 ·
1763 字 · 閱讀時間: 4 分鐘 · ...
【BallonsTranslator】免費、開源一鍵AI自動翻譯漫畫專案
Fig. 01 — 【BallonsTranslator】免費、開源一鍵AI自動翻譯漫畫專案 FEATURED IMAGE

在網路上看漫畫時,難免會遇到漫畫還沒有翻譯成中文的狀況。這時如果對該語言不夠熟悉,可能就沒辦法繼續追最新的進度。

而正好,前一段時間有位開發者在 GitHub 上開源了一個項目,叫做 BallonsTranslator。它可以做到一鍵翻譯漫畫,支援日文以及英文。

BallonsTranslator介面

並且提供一定程度的編輯功能,讓我們可以去調整翻譯後文字的位置、顏色以及內容等。讓等不及中文版漫畫出的人,也許可以透過這個專案,勉強用機器翻譯來頂一下。

那麼接下來,就讓我們來看看如何使用這個專案。

BallonsTranslator GitHub頁面

下載與安裝

要使用這個專案,我們首先需要先下載它。我們到它的 GitHub頁面,在 README 文件裡往下拉到使用說明這裡,可以看到作者有為 Windows 版提供 Mega 以及 Google Drive 的下載連結。

如果懶得點進 GitHub 裡的,這邊我也直接提供下載連結給大家

下載連結:
Google Drive: https://drive.google.com/drive/folders/1uElIYRLNakJj-YS0Kd3r3HE-wzeEvrWd?usp=sharing
Mega: https://mega.nz/folder/gmhmACoD#dkVlZ2nphOkU5-2ACb5dKw

README中有提供下載Mega以及Google Drive的連結

我們點進去後,下載 BallonsTranslator_dev_src_with_gitpython.7z 的這個檔案。

下載 BallonsTranslator_dev_src_with_gitpython.7z

下載完後解壓縮,執行 launch_win.bat 這個批次檔。第一次執行的時候需要花點時間,等待它安裝函式庫以及下載模型。

執行 launch_win.bat

安裝函式庫 下載模型

當然如果遇到一些意外,導致電腦無法正確的安裝函式庫或是下載模型的話,也可以直接改下載旁邊這個檔案比較大,裡面已經直接包含函式庫的版本,並且一併下載上方的 data 資料夾,將它放到你解壓縮這個專案的目錄裡。

如果都沒有問題的話,那麼稍等一段時間,我們就可以看到 BallonsTranslator 的介面成功打開。

使用教學

修改介面語言

進到這個介面裡,我們可以先到上方的 View 裡面去修改一下語言,方便我們理解它的功能。

載入圖片

接著我們就可以點擊左上方的資料夾圖標,選擇打開文件夾,接著選擇我們存放漫畫圖片的資料夾,就可以看到資料夾中的圖片被載入。

載入圖片

設定翻譯語言與翻譯引擎

目前它這個程式,主要支援日文以及英文的辨識,但要設定從哪一個語言翻譯成中文,我們需要先進到設定裡面進行調整。

BallonsTranslator設定頁面

在這邊,我們除了可以調整語言之外,也可以看到 BallonsTranslator 有支援各式各樣的翻譯引擎,有一些是可以免費直接使用的,有一些則是需要 API Key。

BallonsTranslator設定支援多種翻譯引擎

這邊有一個值得注意的是,在 ChatGPT 的選項中,它不只是可以直接使用 ChatGPT,同時也支援讓我們手動輸入一個與 OpenAI API 兼容的伺服器。所以如果你自己的電腦夠好,或是你自己用 llama 或者是其他開源的大型語言模型架了個伺服器,那麼也可以用它來進行翻譯。

BallonsTranslator支援指定與OpenAI API兼容的其他LLM伺服器 使用LM Studio開伺服器執行的樣子

執行翻譯

在設定完後(我這邊設定用 Google 翻譯日翻中),我們就可以點擊左側列表的第四個按鈕,回到瀏覽頁面。再點擊左下角的【Run】,開始進行自動的辨識、修圖以及翻譯。

開始執行翻譯

等到它執行完後,我們就可以看到瀏覽頁面的文字已經全部被替換掉。在視窗的右側,也會顯示著偵測到的每一句原文以及其對應的翻譯。

BallonsTranslator執行結果

這邊我們先暫時放著它不管,我們回到我們存放漫畫圖片的這個資料夾內,可以看到裡面多了三個資料夾以及一個 JSON 檔。

這三個資料夾分別存放著被塗抹掉文字的圖片、遮罩、以及翻譯好文字的檔案。這裡面的檔案,當我們在瀏覽視窗內有做任何的改動,例如改動文字、改動文字框的位置等,只要按下儲存,這裡的資料就會有對應的變更。

查看及修改結果

那麼接下來,我們再看回到瀏覽視窗。如果要做修改,可以在這邊進行調整。同時,有時候它的文字框可能會偏掉,那麼我們也可以直接在這個瀏覽頁面裡進行調整,不管是調整位置、改顏色、調整它的大小、旋轉,都是可以的。

可以對文字的大小、而色、位置、選轉角度等進行編輯

如果想要直接修改翻譯出來的內容也可以,直接在右側的文字編輯框裡修改即可。

可在右側編輯文字內容

但是如果真的覺得它的翻譯非常非常的差,我們可以稍微檢視一下原文是否跟它的文字辨識辨識出來的一樣,因為有可能只是因為它文字稍微比較扭曲或比較擠一點,導致它辨識失敗。

我們在右下角可以看到兩條拉桿,分別代表著嵌字的不透明度以及原本圖片的不透明度。

右下角可以調整原圖片與嵌字的不透明度

可以看到這邊他有一個很明顯的錯字,原本是【速い】結果變成了【迷い】,讓它翻譯出來的東西變得非常奇怪。

文字辨識有錯字導致翻譯變得奇怪

這個時候我們就可以視情況,看是否要使用手動調整的方式,或是若辨識錯誤的字過多,也許我們可以進到設定裡面,切換別種不同的文字辨識方法。

若辨識錯誤的字過多,可嘗試修改OCR模型

修復畫筆工具

最後再簡單介紹一下它裡面的一個功能 - 修復畫筆。簡單來說,就有點像是我們照片裡面的修圖工具,可以將我們不想要的一些東西給修圖掉。算是蠻有趣的一個功能,可以幫助我們修掉一些像是狀聲詞這一類不會被翻譯到但是一樣會留存在畫面上的這些文字。

這個畫筆工具,會直接塗改到遮罩,左鍵可以新增遮住的地方,右鍵可以擦除遮罩(可以擦除自動摳圖在文字上創建的遮罩)。

修復畫筆工具

當然要記得,所有的更改後都要按下儲存,才會更新到 result 資料夾裡。

影片介紹

SHARE / 分享此文章