【連載】機械学習技術とAIシステムの品質・トラスト（第2回）

　今回の混同行列では左上と右下が正解を当てることができたケースになっており、それらの合計は 15+450=465件となっています。全体が500件なので、正解できた割合（正解率）は 465/500 = 93% となります。
　ただし、今回は全体500件のうち陰性が480件と大多数を占めているので、これらを正解できれば正解率は高くなってしまいます。常に「不良品でない」と答えてしまうようなAI（？）があったとしても、正解率は 480/500 = 96% となります。このように、全体を総合的に評価する正解率だけでは、ニーズに合うか・リスクが小さいかといった判断を適切に行えないことがあります。
　これに対し図の青い枠では、「AIが出力したものがどれだけ正しく、どれだけ誤検出か」を見ています。ここでは45件中15件正しいので、15/45≒33% という割合が出せます。この指標を適合率と呼びます。一方、図の緑の枠では、「本来検出したいもののうち、どれだけ検出でき、どれだけ見落としているか」を見ています。ここでは20件中15件検出できたので、15/20=75% という割合が出せます。この指標を再現率と呼びます。これらの指標により、誤検出と見落としそれぞれについての評価ができます。

　多くの場合これら二つの側面にはトレードオフがあります。「厳しく検査」すれば、誤検出が増え見落としは減ります（適合率が下がり、再現率が上がる）。「甘めに検査し、明らかな不良品のみ検出する」ようなことにすれば、逆が起こります。このどちらをとるか、あるいはバランスをとるのかは、ニーズ・要求、あるいは誤検出や見落としがもたらす影響の大きさによって決まります。不良品検出の場合は、見落とし、つまり不良品が出荷されてしまうことを防ぐことを重視することが多いようです。誤検出があっても、不良品と判断されたものを人間が確認して出荷に回すようなプロセスを採ればよいためです。

　なお、もちろん誤検出、見落としがともに非常に少ない完璧なAIに任せられるというのは理想ですが、実際にはそのようなAIを作るのは難しく、上記のように「見落とし防止重視、誤検出許容」といった形でも活用していくことが重要です。

　機械学習型AIの評価に関する基礎知識はまだまだあります。適合率と再現率のどちらをどれだけ優先するかは調整可能なので、いわば「たくさんのAI候補」が得られるわけですが、それらを総合的に評価するAUCという指標もあります。また今回は分類タスクを論じましたが、値の予測を行うタスク（回帰と呼びます）の場合には、誤差の大きさを評価する指標を用います。

　いずれにしてもおさえていただきたいのは、機械学習型AIの評価は、データセットに対して相対的に行われるということです。例えば、工場で実際に発生する不良品の傷やゆがみなど様々な種類が含まれていないデータセットで評価を行った場合、求める検出性能が適切に評価できません。評価では性能が高かったものの、実際の運用には「知らない種類の不良品」がたくさん出てきて見落としが多くなるようなことがあるかもしれません。
　このように、認識したい対象や問題領域の分析から、データセットの分析と評価を経て、しっかりとAIの評価を行う必要があります。

　次回はこの点を踏まえて、AI品質に関する国内のガイドラインに書かれていることを確認していきます。