異常検知の領域にはさまざまな技術が存在しています。機械学習を用いることで、異常検知はより安全で高精度になってきました。特に技術の1つとして、ニューラルネットワークの仕組みであるオートエンコーダを活用する事例も増えてきています。
今回は、オートエンコーダの概要や導入方法などを理解しましょう。そして、異常検知に役立つソリューションやオートエンコーダをPythonで構築する方法などを詳しく解説していきます。
オートエンコーダ（AE）とは
オートエンコーダとは、機械学習におけるニューラルネットワークの生成モデルの1つです。ディープラーニングの要素として注目されているニューラルネットワークを利用する仕組みで、「次元削減」と「特徴抽出」を行うものとして活用されています。
具体的なオートエンコーダの役割は、データ圧縮時に欠損する情報データを、欠損がない状態でも再現できるように残すことです。データの復元時に、データが欠損してしまうことは重要なデータを紛失してしまうことにつながります。
そのため、オートエンコーダは、元通りのデータを再現するための圧縮処理を行うために、重要な情報を精査し、不要な情報を削ぎ落とすことで、復元時に重要なデータだけを完全に復元することができるようにします。
重要な意味のあるデータを残しつつ、不要なデータを削ぎ落として低次元に落とし込むことを「次元削減」と呼び、残った重要データを抽出することを「特徴抽出」と呼びます。
2017年頃まではオートエンコーダが異常検知の主流として活躍していましたが、GANやmetric learningが登場した現在も種類や方法を変えてオートエンコーダは利用されています。
Pythonでオートエンコーダを構築する方法
Pythonによる機械学習やディープラーニングは、活発に利用される機会が増えてきました。ここからは、Pythonでオートエンコーダを構築する方法について順を追って簡単に解説していきます。
準備
まずはPythonでオートエンコーダを構築するための準備について解説します。オートエンコーダを構築するためには、まず何が必要なのかを理解しなければなりません。オートエンコーダの概要は説明しましたが、エンコーダやデコーダという言葉や、オートエンコーダによって何を学習させたいのかを理解しなければオートエンコーダを構築するのは難しいでしょう。
まず、準備のポイントは下記のようになっています。必要最低限の準備の内容として、以下を挙げました。これらのポイントについて順番に解説していきます。
- オートエンコーダの詳細
- エンコーダとデコーダの違い
- オートエンコーダの構造
- 検出の要素であるデータセットを用意
1つ目に挙げたオートエンコーダを理解する前に、機械学習の前提として、教師データと呼ばれる正常データと異常データを用意するのが基本の形となっていることを理解する必要があります。しかし、異常データを集めることは簡単ではありません。そのような時、異常データやラベル付された正常データを含まない教師なし学習に利用できるオートエンコーダが役に立ちます。
2つ目に、エンコーダとデコーダの違いを理解しなければなりません。エンコーダの役割は、入力情報から、空間データにどのような特徴があるのかを表すことです。つまり、必要なデータをピックアップし、より小さな次元に圧縮する役目を持っています。対してデコーダは、エンコーダで圧縮されたデータを大きな次元に戻すことが役割と言えます。
3つ目に、オートエンコーダの構造を理解することが大切です。オートエンコーダは「エンコーダ」「特徴空間」「デコーダ」によって構成されています。入力された情報はエンコーダへと入り、特徴データをピックアップし、次元圧縮を行います。その後、デコーダによって特徴データを必要な時に取り出します。この一連の流れを行うのがオートエンコーダです。
4つ目に大切なことが、検出のために必要なデータセットを用意することです。オートエンコーダの役割は、入力されたデータをエンコーダによって特徴空間に圧縮し、その圧縮データをデコーダによって元に戻すことです。その時に、圧縮データと復元データがより近くなるように機械学習をさせる必要があります。入力用のデータがなければデータの特徴を掴むことができないため、オートエンコーダとしての役割を達成することができません。
オートエンコーダをPythonで作成するためにはこれらの4つのポイントを抑えて、最終的に実装していくことが必要となります。準備段階としては、データを集めることがより重要と言えますが、機能を理解しないまま運用しても結果を得ることは難しいため、しっかりと理解して進みましょう。
実装
実際にPythonを利用して実装する際のポイントについて解説します。重視するべきは、どのようなライブラリが必要なのか理解することです。
まずは、実装する時に必要なライブラリを下記に示しましたので、確認していきましょう。
- os
- numpy
- torch
- torchvision
- nnn.functional
- DataLoader
- transforms
- LambdaLR
- pyplot
numpyとは、数値計算を効率的に行うために準備された拡張モジュールです。数学的処理が多くなる機械学習においては必要不可欠と言えます。また、torchとつくのはPythonにおける機械学習のためのライブラリであり、機械学習を行う場合に必要となります。
そのほか、DataLoader、transformsも同様にtorchに関連する機械学習を行うためのライブラリです。残るLambdaLRは学習率に関するライブラリ、matplotlib.pyplotはデータをプロットするために必要とされるライブラリです。オートエンコーダはこれらのライブラリからでき上がっています。
続いて、実装する時のポイントを説明します。ポイントは下記の通り、実装の手順に沿った順序で確認していきましょう。
- データの読み込み
- データの前処理
- モデルの定義
- 最適化手法の決定
- 学習のループ
- 結果の可視化
実装の始まりはデータの読み込みからです。データを読み込まなければ、機械学習の準備で用意した膨大なデータは意味をなしません。そのためまずはデータセットを読み込むことから始めましょう。
2つ目はデータの前処理を行うことです。特徴となるデータ抽出のためのデータセットをどのような形式にするのか、サンプルをどのように取り扱うのか、取り込み順序やデータを事前に適切に処理することで、正確なデータを取得することができるようになります。
3つ目は、モデルを定義することです。正常異常を判断するには、モデルが正しい必要があります。モデルでどの程度の誤差が許容されるかなどを定義し、その情報に従って学習させることになります。
4つ目は最適化の手法を定義することです。効率の良い学習を行わせるために、学習率や変化率をどのように設定するのかを決めることが重要です。この最適化については論文などから専門知識を得て、深く理解することが必要な場面もあります。
5つ目は学習をループさせ、モデルの学習を実際に行わせることです。実装のなかで最も重要な学習の項目です。エポック数や平均二乗誤差など、数学的要素が関わってくるため、この条件についてもしっかりと理解して学習させる必要があります。
6つ目はグラフの描写を行うことです。学習の結果、実際に学習されているのかを判断することが目的です。描画された図によって、学習がうまくいっているのか判定でき、数値や閾値を変化させることでより効率的な学習に最適化していくことが重要となります。
上記のような実装を経て、オートエンコーダは利用されています。難しい内容が多いですが、実装自体はサンプルコードなどが多くありますので、まずは動かして体感してみるのがよいでしょう。
異常をAIで自動検知できる「AISIA-AD」
Pythonで実装すること自体はプログラミングを長くやっていれば難しいことではありませんが、学習の最適化やどのような内容で機械学習を行うべきかを判断できるようになるには、相応の経験を積む必要があります。
そのため、より高精度かつ最適な自動検知システムを求めている場合には、現場の環境に合わせて最適なAIモデルを採用できる「AISIA-AD」を利用するのがおすすめです。
理由としては以下のような特徴が挙げられます。
- 現場の環境に合わせて最適なAIモデルを選定できる
- 安定した検査を実施できる
- 判定精度向上のための機能が搭載されている
一般的なAIによる異常判定のパッケージでは、AIモデルは型が決まっていることなどから、自社に最適な異常検査システムになっていないケースもあります。
一方、AISIA-ADは最適AIのモデルを適用しており、安定した高精度な異常検査を実現できます。また取得するデータについても、さまざまなデバイスと連携でき、データの処理や、判定、その後の判定処理までトータルでサポートする体制が完備されています。
まとめ
オートエンコーダを使った異常検知をPythonで構築するための方法について解説してきました。オートエンコーダ構築のための準備や実際の構築にはさまざまな検討事項や条件があります。
それらすべてを理解したうえで構築を行うためには、数学的な知識や機械学習のノウハウが必要となってくるでしょう。今後、異常検知を利用したい、効率的なオートエンコーダの利用をしたいと考えている方には、サポート体制が完備されたAISIA-ADなどのソリューションの利用をおすすめします。
