「きゅうりの仕分け」記事への違和感

元組み込みエンジニアの農家が挑む「きゅうり選別AI」　試作機3台、2年間の軌跡
http://www.itmedia.co.jp/enterprise/articles/1803/12/news035.html

2年ほど前に話題となった「きゅうりの仕分け」。一日4千本のきゅうりを仕分ける作業の省力化に、と取り組まれたもので、これを機にディープラーニングに注目した地方の人もいるのではないだろうか。AIがビッグビジネスだけでなく、私たちの日常生活に入り込んくるものであることを知るきっかけともなる、とても興味深い取り組みだ。今回、ITMediaにその軌跡を辿る記事が紹介されたので読んでみた。

個人的に印象的だったのは、コンベヤによる自動仕分けによって収穫物を傷つける、というところだ。AIとは直接関連しないところだが、AIがどんなに素晴らしい判定をしたとしても、人力に代わる部分の省力化が難しいということだ。実は、自分の地域でAIを活用するアイデアや、地元の業者さんに使ってもらえそうな企画もいくつかあるのだが、実現が難しいのはハードウェアの作り込みだ。過酷な自然環境に耐えるようなハードが趣味の電子工作と日曜大工レベルの人間に簡単に作れるようになるとは到底思えない。そういったノウハウを持った業者さんに発注すれば、大きなコストがかかることは想像に難くない。紹介記事はそのことを具体的に示唆するものであり、大いに参考になった。

で、肝心の「違和感」である。記事の中では精度について述べられているのだが、印象として「精度が良くない」という内容になっていると受け取った。で、実際の数字云々はともかくとして、何に違和感があるのか？それは精度について、人間が仕分けた場合との比較が示されていないことだ。人間がどの程度の精度で仕分けができているのかがわからないと、AIの仕分け精度の良し悪しは判定できないはずだ。理想的な判定は、まずパーフェクトに仕分けられた画像が存在し、それを機械学習にかけて判定を行うことだ。そして、それが人間が仕分けた場合の精度とどちらが高いのか、これが精度の良し悪しの判定となるはずだ。しかし、記事の中では、人間の仕分け精度については全く触れられていない。そこで、「中の人」のブログがあったので、これに関する記事を探してみる。すると、「今回の場合は、各分類クラス間が離れていないため、人間がやっても“2LとL”や“LとBL”の判別は難しい（けっこう適当）だったりします。」という記述を発見。うーん、これはやはり仕分けの「正解」に問題があるのではなかろうか？

もし厳格なルールがなく、人間が一度仕分けしたものを「正解」としているのであれば、それはその「正解」の精度を疑うべきである。どんなに優れた熟練者であろうとも人間であればバイアスから逃れることは困難だし、間違いも起こす。しかも、「けっこう適当」と言っているのであればなおさらだ。やっている本人は百も承知でやっていることと思うが、記者はきっとこういったことが分からないで書いているのだろう。前回書いた記事は、実は今回の記事の伏線だったりするのだが、AIは人間のバイアスをそのまま取り込むのである。これは非常に難しい課題なのだろう。

では、このようなケースではどうやって訓練画像をカテゴライズすべきなのだろうか？そういった研究もされているのだろうか？人間が経験と勘で仕分けたものを正解とするより、AIに学習させたものを正解にするほうが最終的な精度は高くなるのではないか？などと思ったりもするのだが、実際はどなのか。そんなこともディープラーニングを勉強する中で実験できれたら、などと思うのである、今だけは。