There was information about pixiv's new service "automatic translation" campaign, so I tried it.Free translation of up to 4 pages to the first 500 people! A campaign called.
Mantra is an AI automatic translation service that automatically translates and puts English text into balloons when you upload the original Japanese manuscript and the manuscript for translation excluding the text.
It seems to be relatively easy, so I gave it a try, but... It seems that AI is still having a hard time recognizing cartoon balloons like this.
The translation into English seems to be quite accurate, but the balloon recognition is inaccurate.
Some balloons and balloons for a whole page were ignored and disappeared. After all, I made a balloon by hand and put an English sentence in it, but it seems that usability is still halfway through.
I don't know what the algorithm is, but it may not be recognized if the balloon is small.
Automatic recognition of frame borders is still halfway through, so I'm looking forward to the development of AI in the future.
If this kind of thing progresses, the creator will be able to save a lot of work.
By the way, this sentence is Google Translate. It's also surprisingly accurate.
以下日本語原文
pixivの新サービス「自動翻訳」キャンペーンの案内があったので試してみました。最大4ページを先着500名まで無料翻訳!というキャンペーン。
「Mantra」というAIの自動翻訳で、日本語の元原稿とテキストを除いた翻訳用原稿をアップロードすると自動でフキダシの中に英文を翻訳して入れてくれるサービス。
比較的簡単にできるようなのでやってみましたが・・ こういう漫画のフキダシなどの認識がAIにはまだまだ難しいようです。英文への翻訳はけっこう精度が高いようですがフキダシの認識が不正確。
一部フキダシや丸々1ページ分のフキダシが無視されて消えてしまいました。結局手作業でフキダシを作って英文をその中に入れましたがまだ使い勝手は道半ばという感じでしょうか。
アルゴリズムがどうなってるのか分かりませんがフキダシが小さいと認識しないのかも知れません。あとフキダシに入ってないモノローグなどのテキストも無視されました。
↓ この通り。
↓ 日本語版原稿。
コマ枠の自動認識もまだ道半ばなので今後のAIの発展に期待かな。こういうのが進歩すれば創作者の手間はそれなりに省けるようになるだろうし。
ちなみにこの文章はGoogle翻訳です。意外と精度高いかな。