みらい翻訳の性能を検証してみた

情報管理LOGの@yoshinonです。
先日来から話題になっている「みらい翻訳※」を使ってみました。
何というか自動翻訳の世界もここまで来たかという感慨深さを感じています。今回は、この自動翻訳サービスであるみらい翻訳の試用レポです。

【　みらい翻訳の性能を検証してみた　】　　 　１．みらい翻訳とは何か？ 　２．翻訳してみた 　３．逆翻訳してみる

先日来より「みらい翻訳」の話題で盛り上がっていました。まず、みらい翻訳とは何かですが、翻訳Webサービスです。サイトは、こちらになります。

みらい翻訳 | イノベーティブな機械翻訳

Twitterを眺めていたら、大絶賛されていたので、これは使ってみなければと思いました。翻訳の世界におけるシンギュラリティと評されるほどのレベルって！

話題の #みらい翻訳、まじですごい…。Google翻訳よりずっといい。訳あって英文の原稿を用意しているが、完全に私のヘボ英作文を凌駕。この先私はもう１から英作文することはない気がする。今日、自分基準では、日→英の作文世界におけるシンギュラリティを迎えてしまった。https://t.co/SAt7AYs5A6

— 日比嘉高 (@yshibi) 2019年4月25日

しかも、TOEIC960点レベルって！おいおい、大抵の日本人より十分上だぞ？

英文和訳はTOEIC960点レベル、「みらい翻訳」が多言語音声翻訳プラットフォーム始動 (2019年5月2日) - エキサイトニュース


みらい翻訳は、NTTやパナソニックなどが出資している会社のようです。





そして、技術協力に関しては、国立研究開発法人情報通信研究機構（NICT）と日本電信電話株式会社（NTT）が、行っているようです。





NICTと言えば、「みんなの自動翻訳＠TexTra®」をやっているところですよね。

みんなの自動翻訳＠TexTra®


どうやら、今回のみらい翻訳は、このNICTの翻訳エンジンを使っているようです。





というわけで、早速やってみましょう。

まず、割と固めな文章であるNewsweekから。一応、引用の範囲に収まるようにね。
こちらの記事から。

Can U.S. and Russia Get Along? Trump and Putin Talk Venezuela, North Korea and Nuclear Weapons

＜原文＞

”White House press secretary Sarah Sanders described the call as "very positive." Trump himself later called it a "long and very good conversation" as the two "discussed Trade, Venezuela, Ukraine, North Korea, Nuclear Arms Control and even the “Russian Hoax"—a reference to the long-standing investigation into yet unproven allegations that he colluded with Russia to secure the 2016 election.

The president was of the opinion that "long before the Witch Hunt started, getting along with Russia, China, and everyone is a good thing, not a bad thing."

The conversation came amid Washington and Moscow diverging on the ongoing political feud in Venezuela between Russia-backed President Nicolás Maduro and U.S.-endorsed opposition leader Juan Guaidó. The two nations have also struggled to find common ground on arms-control agreements. While both sought to peacefully disarm North Korea, Trump and Putin oftentimes found themselves on opposite ends of some of the world's most pressing geopolitical issues.”


＜みらい翻訳＞

”ホワイトハウスのサラ・サンダース報道官はこの呼びかけを「非常に肯定的な。」と表現し、トランプ氏自身も後に、この呼び掛けを「長くてとても良い会話」と「貿易、ベネズエラ、ウクライナ、北朝鮮、核兵器管理、さらには 「ロシアのでっち上げ」 まで議論された。」と表現した----2016年の選挙を確保するためにロシアと共謀したとされる、まだ立証されていない疑惑に対する長年の調査に言及した。

大統領は「魔女狩りが始まるずっと前から、ロシア、中国、そしてみんなと仲良くするのはいいことであって、悪いことではない。」と述べた。

米国とロシアは、ベネズエラで政治的な対立が続いているロシアが支援するマドゥロ大統領と米国が支持する野党指導者フアン・ガイドー氏の間で意見が分かれるさなかにこの話し合いを持ちました。両国はまた、軍備管理協定についての共通点を見つけるのにも苦労している。トランプ氏もプーチン氏も、北朝鮮を平和的に武装解除させようとしたが、世界で最も差し迫った地政学的問題の対極に位置することが多かった。”


＜Google翻訳＞

”ホワイトハウス報道官のSarah Sandersは、この呼びかけを「とてもポジティブだ」と述べた。トランプ氏自身は後に貿易、ベネズエラ、ウクライナ、朝鮮民主主義人民共和国、さらには「ロシアの詐欺師」について議論していたので、それを「長くて非常に良い会話」と呼んだが、まだ証明されていない申し立てに対する長年の調査への言及彼は2016年の選挙を確保するためにロシアと共謀したこと。

大統領は、「魔女狩りが始まるずっと前に、ロシア、中国、そしてみんなと仲良くなることは良いことであり、悪いことではない」と意見を述べた。

ワシントンとモスクワがベネズエラで進行中のロシアの後援者であるニコラスマドゥロ大統領と米国が支持する野党指導者フアングアイドの間で政治的な確信について発散している間に、会話は来ました。両国はまた、武器管理協定に共通の根拠を見出すのに苦労してきた。どちらも北朝鮮の平和的な武装解除を模索していたが、トランプとプーチンはしばしば、世界で最も差し迫っている地政学的問題のいくつかの反対の端に彼ら自身を見出した。”


みらい翻訳の方は、概ね意味が分かるレベルで翻訳されていますよね。というか、ほぼ忠実に翻訳されていることが分かります。しかし、Google翻訳は、かなり精度が高くなってきたと言われているものの、これを読む限り、大学生と中学生ぐらいのレベルの差を感じます。Google翻訳の日本語のぎこちなさは、やや残念な感じすらします。



次に情報管理LOGの文章もやってみましょう。情報管理LOGは、音声入力をすることが多いので、口語体（しかも若干くだけた感じ）です。さて、どうでしょうか？
元となる文章は、こちらの記事から。

小中学生が音楽を買わなくなっている構造について - 情報管理LOG


＜原文＞

”全くCDを購入していないかというと、そうでもなく、前述のデータのように10代は、CDを購入するメイン層といえる状況ではあるようです。
で、CDの購入についてですが、男子より女子の方が、圧倒的に購入している子が多いように思えます。女子は、

・ジャニーズの初回特典CD
・好きなアーティストのCD
・ボカロ、歌い手系のCD

を購入していて、それぞれの購入区分毎の棲み分けが上手くされているように思えます。
それに対して、男子は残念ながら音楽に対する興味関心が、女子よりも総じて低い感じです。（皆さんの観測範囲ではどうですか？ぜひ、聞かせてください）

イメージとしては、男子の方が現物にこだわるように思えますが、実際は、女子の方が特典などが付く現物にこだわる傾向が高そうに見えます。

ちょっと古い資料ですが、お金の使い道の違いについてのデータです。

そもそも、小学生にいたっては、CDなどに費やすお金は、ものすごく少ないことが分かります。さすがに、中高生になると増えますが、それでも多いとは言えませんよね。

さらに、小中学生では、お小遣い自体もらっていないという層もなんと5割を超えていたりします。

そう考えると、そもそもお小遣い自体ない状況で音楽を楽しむというような環境もあまりないということを考えると、音楽を聴かない若者が増えているという状況とも合致するなと思えます。

そんな中でも音楽を聴きたいと思うならば、YouTubeにというのは、何となく必然な流れがしてきますよね。
さらに、彼らが言うには、「YouTube観ていると、オススメが神がかっている！」というのです。”

かなり「ボカロ」とか「歌い手系」とか独特な言い回しも多いので、かなり無理な要求な感じもしますね。


＜みらい翻訳＞

”If you haven't bought a CD at all, that's not the case, and as you can see from the above data, teens are the main buyers of CDs.
And about the CD purchase, I think girls buy more than boys. The girl

*Johnny's first special CD
*CD of your favorite artist
*a vocalist or singer's CD

I have purchased, and it seems to be well organized by purchase category.
On the other hand, boys are, unfortunately, less interested in music than girls. (What about your observation range? Please tell me.)

As an image, it seems that men are more particular about the real thing, but in fact, women seem to be more inclined to be particular about the real thing with benefits.

It's a bit old material, but it's data about the difference in how money is used.

It turns out that elementary school students spend very little money on CDs. As might be expected, it increases in junior high and high school students, but I can't say it's still a lot.

In addition, more than 50% of elementary and junior high school students don't receive allowance.

If you think about it that there is not much environment to enjoy music without spending money in the first place, it seems to fit the situation that the number of young people who do not listen to music is increasing.

If you want to listen to music, YouTube is a logical move.
And they say, "If you're watching YouTube, the recommendations are divine!".”


＜Google翻訳＞

”If you're not buying a CD at all, it's not that, like the data above, it seems that you are in a situation where you can say that teens are the main layer of buying CDs.
So, about the purchase of CDs, it seems that more girls than girls are buying overwhelmingly. Girls are

・ Johnny's first time bonus CD
・ CD of favorite artist
・ Bocalo, CD of singing system

It seems that it has been purchased and each division of purchase is properly classified.
On the other hand, boys unfortunately have a generally lower interest in music than girls. (What is your observation range? Please let us know.)

As an image, boys seem to stick to the real thing, but in fact, girls tend to stick to the real thing with benefits etc.

It is a bit old material, but it is data about the difference in the use of money.

First of all, for elementary school students, it is clear that the money spent on CDs is extremely small. Indeed, it will increase when you become junior and senior high school students, but it can not be said that there are still many.

Furthermore, in elementary and junior high school students, the layer that they don't get money themselves is over 50%.

If you think so, considering that there isn't too much environment to enjoy music without spending money in the first place, it seems to be in line with the situation that young people who do not listen to music are increasing.

Even if you want to listen to music, YouTube is somehow inevitable.
Furthermore, they say, "If you are watching YouTube, the recommendation is God-fearing!"”


Google翻訳も頑張っている感ありますが、やはりみらい翻訳の方が、より自然で読みやすい英文に翻訳しているように思えます。みらい翻訳の方が、日本語段階で言い換えできる部分をしておき、それを英文に翻訳しているのではないか？と思えるのですよね。
これだけできていれば、みらい翻訳の方だったら、あとはちょっとした手直しだけで十分に済みそうです。





ここからは、翻訳されたものを、再翻訳してみるということをしてみます。そうすると、より自然に翻訳されたものの方が、原文に近くなるだろうという考えられるからです。

先ほどの情報管理LOGの文章を逆翻訳してみました。

＜みらい翻訳＞
”まったくCDを買っていない人はそうではなく、上のデータからわかるように、10代の若者がCDの主な購入者です。
あと、CDの購入ですが、男の子より女の子の方が多いと思います。少女

*ジョニー初のスペシャルCD
*好きなアーティストのCD
*歌手のCD

購入しましたが、購入カテゴリ別に整理されているようです。
一方、残念なことに、男の子は女の子ほど音楽に興味がありません。(あなたの観測範囲はどうですか?教えてください。)

イメージとしては、男性の方が実物にこだわりがあるようですが、実際は女性の方が特典付きで実物にこだわりがあるようです。

少し古い資料ですが、お金の使い方の違いに関するデータです。

小学生はCDにほとんどお金をかけないことがわかっています。さすがに中高生で増えていますが、まだ多いとは言えません。

また、小中学生の50%以上が支給されていません。

そもそもお金をかけずに音楽を楽しむ環境があまりないことを考えると、音楽を聞かない若者が増えている状況に合っているようです。

音楽を聴きたいなら、YouTubeは理にかなった動きだ。
かれらは言う。「YouTubeを見ているなら、おすすめはすばらしい!」。”


＜Google翻訳＞
”CDをまったく購入していないのであれば、上記のデータのように、10代がCDを購入する主な層であると言える状況にあるとは限りません。
だから、CDの購入については、女の子よりも女の子が圧倒的に購入しているようです。女の子は

・ジョニーの初回特典CD
・好きなアーティストのCD
・ボーカロ、歌唱システムのCD

購入済みで、購入の各部門は適切に分類されているようです。
一方、残念ながら、男の子は女の子より音楽への関心が一般的に低いです。 （あなたの観測範囲は？私達に知らせてください。）

イメージとして、男の子は本物にこだわるように見えます、しかし実際には、女の子は利益などで本物にこだわる傾向があります

少し古い資料ですが、お金の使い方の違いについてのデータです。

まず第一に、小学生にとって、CDに費やされるお金が非常に少ないことは明らかです。確かに中高生になると増加しますが、まだ多いとは言えません。

さらに小中学生では、自分でお金をもらえない層が50％を超えています。

そんなことを考えれば、そもそもお金をかけずに音楽を楽しむ環境がそれほど多くないことを考えると、音楽を聴かない若者が増えている状況と一致しているようです。

たとえあなたが音楽を聴きたいとしても、YouTubeはどういうわけか避けられません。
さらに、彼らは、「あなたがYouTubeを見ているなら、推薦は神を恐れることです！」と言います。”


さすがに逆翻訳をしてみると、どちらもかなり厳しそうに見えます。Google翻訳の「あなたがYouTubeを見ているなら、推薦は神を恐れることです！」には、少し笑ってしまいましたが、Google翻訳も、かなり自然な感じで逆翻訳しているように思いました。
逆にみらい翻訳の方は、若干端折り気味に逆翻訳していることが分かります。

このあたりは、内部の翻訳エンジンの根本的な部分から来る違いと捉えて良いかと思います。

結論：みらい翻訳はかなり使える




昔、ドラえもんのヒミツ道具で「翻訳こんにゃく」というものがありました。これは、外国の言葉をリアルタイム翻訳してくれるというものでした。GoogleのアプリでGoogle翻訳というのがありますが、徐々に近づいて来ているなと感じています。普通にジブ運の国の言葉を話せば、相手の自国語として聞こえるという世界は、言葉の壁を壊してくれそうなので、早く実現して欲しいですよね。

関連記事

• 私が、10年近く使い続けているサービスを挙げてみる
• みらい翻訳の性能を検証してみた
• Dropboxの３台制限を突破する方法