AzureのCustom Vision Serviceを試したら想像以上だった

2月にJapan IT Week 関西へ赴き、主にAI関連のセミナーを受講してきたのだが、Microsoftの「AIの民主化」において、AzureのCustom Vision Serviceのデモンストレーションがそこそこの衝撃だった。セミナーではWebから適当に拾ってきたアリの画像と、とある特徴のあるアリ、それぞれ50、30枚の画像を用意し、ブラウザで登録して簡単な設定をした上で訓練開始。あっという間に必要十分と思える精度で特徴のあるアリを判別してみせた。設定は対象の写真の特徴をチェックボックスで選択するだけ。
そこそこの精度とはいえ、汎用の簡単な設定と100枚に満たない画僧だけで判別できてしまうとは。。。少なくとも百枚単位の画像データを用意し、設定値を試行錯誤するものだと勝手に思い込んでいた私には驚くべき結果だった。なので、さっそく帰るなり、手元の画像を使って試してみることに。
試してみたのは、私の住む地域で古くから伝わるジャガイモの種の識別。もともとディープラーニングの勉強の題材に使おうと種の写真をストックしておいたものがあったので、それとWeb上にあるジャガイモの画像を拝借して使用。Custom Vision Serviceの使い方などは他に譲り、試用した様子をば。

これが訓練イメージを登録したところ。左上の「honjaga」が地域の種、「potate」がWebから拝借した画像で、それぞれ58、25枚である。設定は何を選択していいのかわからなかったので汎用的に使えそうなデフォルト値（Generalだったか？）を選ぶ。じゃがいもなんて見た目にはこれといった特徴がないので、どの程度の結果が出るのか半信半疑で実行する。

適合率、再現率とも高い値。
早速、学習したモデルを使って判定を実施。まずは地元のじゃがいも。

どれも「potate」が0％。明確に判定できている。
続いて拝借したさまざまなじゃがいもの判定。

「potate」である確率が低いものがあるものの、「honjaga」の確率は全て0％。これも明確に判定できている、と言っていいだろう。
おまけ。撮影ミスで、被写体を置く手を撮影してしまったもの。指の間から辛うじてジャガイモが見えているところ。

なんと、これも「potate」の確率は0％。まあ、じゃがいも以外の特徴（背景色とか）から判別してるのだろうと思うが。。。
今回のお試しでは、地元のじゃがいもの画像が全体的に暗く土が残っているのに対し、拝借した画像の多くはきれいに洗浄されたじゃがいもで明るい画像が多かった。アルゴリズムが画像のどの特徴を捉えて判定しているかはブラックボックスだし、この結果を持って種の判定が容易に可能になったとは判断できない。しかし、当初想像していたよりもはるかに低コストで判定は可能であろう、という手ごたえが掴めたことは大きなモチベーションとなった。
ディープラーニングが「知らない人だけが損をする」時代になるのも目の前である。

「きゅうりの仕分け」記事への違和感

元組み込みエンジニアの農家が挑む「きゅうり選別AI」　試作機3台、2年間の軌跡
http://www.itmedia.co.jp/enterprise/articles/1803/12/news035.html

2年ほど前に話題となった「きゅうりの仕分け」。一日4千本のきゅうりを仕分ける作業の省力化に、と取り組まれたもので、これを機にディープラーニングに注目した地方の人もいるのではないだろうか。AIがビッグビジネスだけでなく、私たちの日常生活に入り込んくるものであることを知るきっかけともなる、とても興味深い取り組みだ。今回、ITMediaにその軌跡を辿る記事が紹介されたので読んでみた。

個人的に印象的だったのは、コンベヤによる自動仕分けによって収穫物を傷つける、というところだ。AIとは直接関連しないところだが、AIがどんなに素晴らしい判定をしたとしても、人力に代わる部分の省力化が難しいということだ。実は、自分の地域でAIを活用するアイデアや、地元の業者さんに使ってもらえそうな企画もいくつかあるのだが、実現が難しいのはハードウェアの作り込みだ。過酷な自然環境に耐えるようなハードが趣味の電子工作と日曜大工レベルの人間に簡単に作れるようになるとは到底思えない。そういったノウハウを持った業者さんに発注すれば、大きなコストがかかることは想像に難くない。紹介記事はそのことを具体的に示唆するものであり、大いに参考になった。

で、肝心の「違和感」である。記事の中では精度について述べられているのだが、印象として「精度が良くない」という内容になっていると受け取った。で、実際の数字云々はともかくとして、何に違和感があるのか？それは精度について、人間が仕分けた場合との比較が示されていないことだ。人間がどの程度の精度で仕分けができているのかがわからないと、AIの仕分け精度の良し悪しは判定できないはずだ。理想的な判定は、まずパーフェクトに仕分けられた画像が存在し、それを機械学習にかけて判定を行うことだ。そして、それが人間が仕分けた場合の精度とどちらが高いのか、これが精度の良し悪しの判定となるはずだ。しかし、記事の中では、人間の仕分け精度については全く触れられていない。そこで、「中の人」のブログがあったので、これに関する記事を探してみる。すると、「今回の場合は、各分類クラス間が離れていないため、人間がやっても“2LとL”や“LとBL”の判別は難しい（けっこう適当）だったりします。」という記述を発見。うーん、これはやはり仕分けの「正解」に問題があるのではなかろうか？

もし厳格なルールがなく、人間が一度仕分けしたものを「正解」としているのであれば、それはその「正解」の精度を疑うべきである。どんなに優れた熟練者であろうとも人間であればバイアスから逃れることは困難だし、間違いも起こす。しかも、「けっこう適当」と言っているのであればなおさらだ。やっている本人は百も承知でやっていることと思うが、記者はきっとこういったことが分からないで書いているのだろう。前回書いた記事は、実は今回の記事の伏線だったりするのだが、AIは人間のバイアスをそのまま取り込むのである。これは非常に難しい課題なのだろう。

では、このようなケースではどうやって訓練画像をカテゴライズすべきなのだろうか？そういった研究もされているのだろうか？人間が経験と勘で仕分けたものを正解とするより、AIに学習させたものを正解にするほうが最終的な精度は高くなるのではないか？などと思ったりもするのだが、実際はどなのか。そんなこともディープラーニングを勉強する中で実験できれたら、などと思うのである、今だけは。

「人工知能もバイアスを必然的に取り込んでしまう」

「人工知能もバイアスを必然的に取り込んでしまう」
http://trendy.nikkeibp.co.jp/atcl/pickup/15/1003590/031701613/
SXSW（サウス・バイ・サウスウエスト）という世界有数のカンファレンスにレイ・カールワルツが登壇したとのことで記事になっている。そのカールワルツが言うわけである、「人工知能もバイアスを必然的に取り込んでしまう」と。
まあ、そりゃそうだとは思うわけだが、AIを駆使していこうとすれば、このことは気を付けなければならないことだ。せっかく計算機に仕事をさせるのだから人間のバイアスなどない答えを期待することが中心になるはずだ。機械学習において学習させるデータにバイアスが混入すれば当然学習済みデータにもバイアスが混入するわけだ。人間の仕事が介入する以上、バイアスを根絶することは不可能だろうが、できるだけバイアスを排除するよう配慮することは常に課題として
世の中の事例を見ていると、これはバイアスが混入していているのでは？と思しきものもある。そういったところを考察してみるもの一興かもしれない。