前回のコラムでは、「説明可能なAI（Explainable AI ）」「解釈可能なAI（Interpretable AI）」が取り沙汰されて来ているということ、様々なベンダーから説明可能なAIがサービスとして提供され始めており、今後さらに研究が進んでいくだろうことをお話ししました。

説明可能なAI、解釈可能なAI（1）

今回は、解釈可能性・説明可能性を求める際のアルゴリズムのなかでも特に代表的に知られている手法についてご紹介したいと思います。識別・予測など機械学習の目的に対して求めた境界を線形近似することによってモデルを説明する「LIME」と、特徴量間での利得配分によって説明する「SHAP」の2つです。

LIME(local interpretable model-agnostic explanations)

LIMEは複数のモデルが組み合わさったり深層学習などで得られた機械学習のモデルを線形回帰で近似することにより解釈しようと試みるアプローチです。いくつかのデータサンプルと、その周囲のデータの空間でサンプリングと予測を繰り返し行い、生成されるデータセットを教師データとして線形回帰を行います。そこで得られた線形回帰モデルを解釈に用いるというわけです。モデルに寄与した特徴量とそのスコアが可視化できますので、様々なAIモデルに対して適用が可能で、画像やテキストデータを用いた解析にも応用されています。

しかし、これはある特定のデータの空間でのみ有効な線形回帰モデルであることはわすれてはなりません。サンプリングされたものと周囲の空間のみでのモデルなので、極めて局所的なものであるということを押さえておく必要があります。また、アンサンブル学習やニューラルネットワークの多層の構造も線形ではありませんので、そこにも注意が必要です。

SHAP（SHapley Additive exPlanations）

SHAPは「協力ゲーム理論」におけるShapley値を利用して各説明変数の寄与を説明しようとするアプローチです。協力ゲーム理論は、ゲームにおいて複数のプレイヤーが協力して勝利を目指すときの各々のプレイヤーの利得と振る舞いを考えるゲームです。これを応用し、それぞれの特徴値がモデルにどう影響を与えたかを算出するものです。特定の変数の値の「増減」が与える影響を可視化できるため、変数の寄与度を捉えることが可能です。LIMEと同様、非構造化データの処理にもよく使われています。画像の検知などではどの領域の特徴を重視したのかを捉えるために活用されています。

いずれも代表的な手法で、現在は他にも様々なものが開発されてきています。しかしいずれも元のモデルへの理解とインプットデータへの理解を伴うものであることを忘れずにいたいですね。