作っている製品によって千差万別ではありますが、工場内には、いまだに人間が目視で外観検査を行っているラインが山のようにあります。サイズや温度、圧力、明るさ、などのセンサーデータによる検品装置もたくさん出回っていますが、人間的な感覚でないとなかなか異常と判断できないケースも多いのです。”人間的な”と来ればAIの出番です。これから多くの現場でヒトの目視検査がAIに置き換わり、これまで検査できなかったところにもAI検査が導入されると思われます。その際、思いの外重要なのがカメラと照明で、ここに気を配らないといくらディープラーニングを使ってもうまく異常検知ができません。
異常検知に使うカメラ
一般に異常検知のカメラは、小さな異常を見つけ出す必要があるので接近戦で、かつ、動いているものを撮影した動画がベースになります。ということで、接近戦＆動画に強いカメラの特徴を抑えていきましょう。
ローリングシャッターとグローバルシャッター
まずは電子シャッター方式についてです。電子シャッターにはローリングシャッターとグローバルシャッターという2つの方式があります。
・ローリングシャッター
ローリングシャッター（ライン露光順次読み出し）は、図1左のようにセンサー素子の上部ラインから順番に露光が開始される方式です。上部ラインと下部ラインとで露光のタイミングがずれますので、動いているものを撮影した場合に全ラインを合わせて1つの映像にすると若干のゆがみが生じます。
・グローバルシャッター
グローバルシャッター（同時露光一括読み出し）は、図1右のようにセンサー素子のすべてのラインが同時に露光を開始して同時に終了＆読み出しますのでタイミングのずれが生じません。
静止しているものを撮影した際はどちらも同じくきちんと撮影できるのですが、コンベアで流れてくる製品やドローンの映像のように動いているものを撮影して異常検知するには、歪みのないグローバルシャッター方式が適しているのです。
図1：ローリングシャッターとグローバルシャッター
CMOSとCCD
高校生のとき、初めてオリンパスOM-1という一眼レフカメラを買いました。そのときのシャッターは機械式で、撮像素子やフィルムなどの手前にあるシャッター幕を開閉させる方式でした。その後登場した、デジタルカメラやスマホで使われているのは電子シャッターです。こちら照明はシャッター幕のような機構を持たず、電子制御のよって撮像素子の露光をオンオフさせる方式です。
撮像素子とは、画像（レンズから入ってくる光）を電気信号に変換する素子のことで、イメージセンサーとか画像センサーなどとも呼ばれています。現在、主流の撮像素子はCMOS素子とCCD素子の2つです。
一般にCMOS素子はローリングシャッターですが、CCD素子は原理的に部分読み出しができないので、グローバルシャッター方式となります。さらにCCDの方が、感度が高い、ノイズが少ないなどのメリットがあったのですが、最近はCMOSが主流となっています。その一番の理由はコストが安いということで、さらに消費電力が小さいというメリットもあることからスマートフォンでもCMOSカメラが使われています。
広く使われるようになったことでCMOSも日々進化しており、感度やノイズなどの課題もCCDに引けを取らないレベルになってきました。また、最近ではCMOSでありながらグローバルシャッターとなっているものも登場しており、当社でも異常検知にはグローバルシャッター方式が可能なCMOSカメラを採用しています。
関連記事：CCDとは？概要・メリット・デメリットやCMOSとの違いなどを解説
【麻里ちゃんのAI奮闘記】撮像素子のサイズと解像度
|
麻里：普通に写真撮るのがデジカメで、動画を撮影するのはビデオカメラだと思っていたんだけど、なんか普通にデジカメで異常検知の動画撮影しちゃっているのね。 |
最短焦点距離と最大撮影倍率
AIによる異常検知では対象物の大きさへの適応力が増します。人間が目視で検査できる大きさには限りがありますが、カメラの力によりぐっと製品にレンズを近づけて拡大して見ることも可能になるのです。このような撮し方を行う場合、レンズの最短焦点距離と最大撮影倍率もチェックする必要があります。
最短焦点距離とは、文字通りどこまでレンズを近づけて撮影できるかを示す値です。例えばiPhone8の最短焦点距離は公表されていませんがだいたい3〜4cmくらいで、これより被写体を近づけるとボケてしまいます。そして、最短焦点距離より重要なのが最大撮影倍率で、これはセンサー上に被写体をどれくらい大きく写すことができるかを示す値のことです。
最大撮影倍率の大きな接写用のレンズはマクロレンズと呼ばれています。マクロはマイクロの略なのですが、小さいのにマクロってややこしいので、変に略してもらいたくないですね。通常のマクロレンズで1倍、ハーフマクロレンズで0.5倍ですが、それよりも大きな2.5倍などのものもあります。また、マクロレンズを使わないでも、エクステンションチューブやクローズアップレンズなどの小道具を使って最大撮影倍率を上げる方法もあります。
ここでもセンサーサイズが関係していて、同じ最大撮影倍率の場合、センサーサイズが小さい方がより拡大して写ります。そのため、通常、最大撮影倍率はセンサーサイズが35mm判(36☓24mm)換算で表します。例えば、最大撮影倍率1.0倍のマクロレンズを35mm判より小さいAPS-Cサイズ(23.5☓15.7mm)のカメラに装着すると、35mm判の1.5倍相当にまで拡大して写すことができます。
フレームレート(fps)とシャッタースピード(ss)
こちらのブログで動画は静止画の集まりであり、ぱらぱら漫画であること。漫画の枚数がフレームレート(frames per second)で表され、この値が大きいほど滑らかに見えること。映画のフレームレートは24fpsだが、品質検査モデルでは1〜3fpsくらいで十分だということを説明しました。
もう1つ決めなければならないのがシャッタースピード(SS)です。え、動画なのにシャッターを押すのって思われがちなのですが、動画も静止画の集まりなので実はフレームレートの速度に合わせてシャッターを押し続けているようなものなのです。
シャッタースピードが速いほうが被写体はシャープに見えますがカクカクしてきます。逆に遅くすると残像効果により動画が滑らかに見えます。そのような兼ね合いから一般にシャッタースピードは「1/フレームレートの2倍」近辺が良いとされています。例えばフレームレートが30fpsなら、シャッタースピードは1/60秒という塩梅です。
でも、異常検知の場合は、滑らかに連続して見える必要はなくシャープさが大切なので、この方式には従わずにシャッタースピードを速くして撮影することになります。
F値とISO
姉妹ブログ「AI技術をぱっと理解する」でＰ値やQ値などが出てきましたが、カメラに多少なりとも詳しい人でしたらF値を知っていると思います。これは、レンズの明るさを示す指標で、値が小さいほど明るいレンズ（で高価）ということになります。明るいレンズとは、必ずしも明るい写真が撮れるってことではなく、光をたくさん取り込むことができるレンズのことです。
異常検知では、シャッタースピードを速くしてシャープな画像を撮るわけですが、シャッタースピードを速くするとそれだけ暗くなります。そのため撮影の際にはF値（絞り）の調整は開放（一番小さい値）にしてできるだけ光をたくさん取り込むわけですが、このときF値の小さくない安いレンズだと十分な光を取り込むことができずに暗い映像になるのです。
もう一つ、カメラにはISO感度というものがありましたね。これは、映像の明るさをどれだけ増幅するかを示す値なのですが、無理に増幅した分だけ画像品質が低下します。数値が小さいほど高画質になるので異常検知ではできるだけ小さく設定します。ただし、ISOを小さくすればするほど画像が暗くなるので、シャッタースピードとF値との兼ね合いで調整することになります。
異常検知に使う照明
さて、プロ野球もいよいよ大詰めです。このまま埼玉西武ライオンズが10年ぶり優勝したら日本シリーズを見に行こうかなって思ったりしています。で、野球観戦とくればビールガール、ビールとくれば枝豆、そしてカメラとくれば照明です。せっかくカメラに凝ったのに、照明に配慮が足りなくて影が写ってしまったり、照明を反射してしまったりすると、AIはそれらを異常と判定してしまいます。工場の天井に光る蛍光灯とは別に、異常検知専用の照明を設置して品質の良い画像を撮る必要があるのです。では、異常検知に向いた照明とはどのようなものなのでしょうか。
リングライト
異常検知の動画撮影に使われる照明の第一候補は、リングライトです。画像1のようにカメラレンズの周りにリング上にLEDが散りばめられているため、LEDリング照明とも呼ばれています。短めの照射距離で撮影すると光が均一に被写体に当たるほか、接写の際にやっかいなカメラの影などを気にする必要もありません。また、被写体の真上から撮影するので被写体の影の発生も抑えることができます。
もともと接写専用の照明として使われたため、マクロレンズと相対してマクロリングライトとも呼ばれています。通常の照明と較べて背後まで光が回り込みにくいのですが、異常検知では背景を写す必要がないのでむしろ適しています。ただし、光沢のある被写体の場合、反射によりリング状の光が写ってしまったりするので、画像2のようなフィルタ（拡散布）を施したり偏光版を使ったりして光を拡散する工夫が必要です。偏光板は、グレア（鏡面反射）を防ぐ上、画像の表面にある異常を目立たせるのに有効なので異常検知によく使われます。
画像1：リングライト 画像2：リングライト用フィルタ（拡散布）
NEEWER製 マクロリングライト Zomei製 ナイロンフィルタ
出展：https://www.amazon.co.jp 出展：https://www.amazon.co.jp
同軸照明
リングライトは、反射の少ないつや消しの被写体には最強なのですが、光沢のある被写体ではリングライトを反射で写り込まないようにするのに苦労します。そんなケースに強い照明が同軸照明です。図2のように真横からのLED光をハーフミラーを使って反射させ、カメラと同軸（垂直）に照射します。そして、被写体の像はハーフミラーを透過してカメラに届くわけです。この図のように拡散板を使ったりして光を拡散させるので拡散同時照明とも呼ばれています。真上から均一の光が照射され、カメラの影が発生しないのはリングライトと同じですが、こちらはハーフミラーが頑張ってくれています。
ハーフミラーとは、透過率を抑えたミラーです。取調室などでよく登場するマジックミラーは、一般に透過率18％、反射率82％です。暗い観察室から明るい取調室を見ることによって、あっちからは鏡に見えるけど、こっちからはガラスに見えるわけす。LED光源が直接カメラに反射するリングライトと違い、ハーフミラーの反射と透過を経ることにより光源がカメラに写りにくくなります。
図2：同軸照明
出展：http://www.dyna-t.co.jp/lfv.html
今回は2つの照明方式を紹介しましたが、実はこのほかにも方位照明、側位照明、偏光照明、暗視野照明などさまざまな種類があります。検査対象によって最適なカメラと照明を選ぶ必要がありますので、ディープラーニングのアルゴリズムだけでなく、カメラと照明に関する基礎知識も付けておく必要があるのです。
外観検査で利用する照明についてはこちらのブログで詳しく解説しています。
なぜ外観検査では特殊な照明を使うのか
 マシンビジョンカメラここまでの説明でコンベアの上にキヤノンやニコンなどの一眼レフカメラが三脚で付けられているのを想像した人もいると思いますが、実際、工場内で検査や制御などに使われるカメラはマシンビジョンカメラと呼ばれているものです。人が手にもって写すわけではないのでもっと小型ですし、エッジ端末などにUSBで接続して電源供給を受けながら画像を送信します。
画像3：マシンビジョンカメラ |
まとめ
今回は、異常検知に用いられるカメラと照明について選択のポイントを簡単に説明しました。異常検知にはマシンビジョンカメラが使われること、動画ならグローバルシャッターだということ、CMOSの時代になったこと、最大撮影倍率と撮像素子サイズの関係、柔らかい映像を撮る必要はないのでシャッタースピードとＦ値とISO感度はシャープさを目指すこと、照明にはリングライトと同軸照明が良さそうなこと、そして、麻里ちゃんが「た・ん・ご」を区切って言うときは、実は頭が追いついていないときだってこと、上場企業の社長になってもデラックスなソファの代わりにベルトコンベアが隣にあること、などが理解できましたでしょうか。
梅田弘之 株式会社システムインテグレータ ：Twitter @umedano
