パッケージ画像からエンゼルの出現を予測できるのか？〜問題設定、前処理編〜

これは本当なのでしょうか？私がざっくりと情報を調べた限り、一つまたは極少数の当たりパッケージとその他の少数のパッケージとの違いをもって仮説を検証するとしているものが多いように見受けられます。しかし、これまでに当ブログで言及してきたように、一つの例をもって一般化することはできません。また、目視での比較では規準が曖昧です。

そこで、パッケージの印刷の違いでエンゼルの当たりが識別できるのかを、識別モデルを用いて検証して見たいと思います。

ですが今回は、問題設定と前処理部分の説明になります。現段階では、まだまだパッケージ画像が集まっていないため、実際に識別モデルを構築するまでには至っていません。
今後、ある程度データが集まったら分析を開始する予定です。

【トップに戻る】

問題設定

仮説

エンゼルが入っているパッケージと入っていないパッケージでは、印刷のズレ、ノイズ、色の違い文字の太さの違いなどの違いがあると仮定します。

目的は、この仮説の検証です。

データ取得環境

上記の仮説を検証するために、チョコボールのパッケージ画像を用意します。

撮影位置や照明環境を統一するために、パケージを展開して、スキャナで画像ファイルを作成します。

スキャナは、以下の機種を利用します。２年位前にビックカメラで買いました。

brother インクジェットプリンター複合機 PRIVIO DCP-J562N 両面印刷

出版社/メーカー: ブラザー工業
発売日: 2015/10/21
メディア: Personal Computers
この商品を含むブログ (1件) を見る

データ例

上記環境で収得した画像データは以下のようなものです。サイズはA4サイズで、2512x3484pixelsです。

f:id:hippy-hikky:20180510233331p:plain:w300

アプローチ

上記のパッケージ画像をトリミングするなどの前処理を行い、 Angel有無の確信度を出力する識別モデルを構築します（下図）。

f:id:hippy-hikky:20180510235613p:plain

識別モデルの構成は今後設計していきますが、数層のConvolutional Neural Network(CNN)から初めて見ようと思います。最初はベーシックなモデルからスタートしてみるってことですね。

【トップに戻る】

前処理

前処理は、モデルの構造やデータ数に応じて設計していく必要があります。

今回のデータは、パッケージを展開してスキャナで取り込みます。そのためパッケージを展開する際に、糊付け部分が汚くなってしまいます（下図Aの破線部分）。また、スキャナを利用して手動で画像を取り込むので、どうしても傾いたり位置がずれたりします。

f:id:hippy-hikky:20180511001910p:plain:w300

エンゼル有無を示す印刷のズレはあまり大きく無いと予想されます。対して、上図Aのように画像毎に差異がはっきり出てくるような箇所があると、本来見たい印刷の差異ではなく、このようなはっきりした差に過適応してしまうことが予想されます。

そこで、特定の部分だけをトリミングした画像（下図のような）を利用します。今回は、画像を並行になるように回転し、上図中のB点を原点に一定の大きさを切り出すという処理を行いました。

f:id:hippy-hikky:20180511001537p:plain:w300

エンゼルの出現率が多くないと予想されるので、 Augumentationなども必要ではないかと思いますが、それらは具体的にモデルを設計する段で検討します。

前処理コード

前処理なので、汎用的ではないですが、一応参考までに前処理用のコードをあげておきます。誰かの参考になれば幸いです。

ざっくりと解説を示します。

画像のトリミングをするために、左と上の辺を見つけるために、茶色の領域を検出します。
そこで、２番めのセルで、特定の色の領域を示すフィルタ（ROI）を作成する関数を定義しています。色の指定は、RGBでの指定よりもHSV色空間で指定するとわかりやすいかなと考えたのですが、逆にわかりにくくなったかもしれません。

３番めのセルでは、上記のROIでの色領域の境を検出するための関数を定義しています。単純に１ピクセルでも反応するようにしてしまうと、ノイズを拾ってしまう可能性があるので、 n_filter個のピクセルが連続で反応する位置を境として検出します。

画像を取り込み、色フィルタをかけた様子が、５番目のセルに表示されています。茶色が見えにくくなっていますが。。。

６番目から９番目のセルで回転補正しています。ここでは、簡単のために、パッケージ上部の辺の一部が平行になるように補正しています。茶色部分の座標を取得し（セル7）、取得した座標を単回帰して傾きを検出しています（セル8）。 OpenCVのハフ変換で直線の検出ができるかと考え、試してみたのですが、さっぱりうまくいかなかったので、このようなめんどくさい手法をとっています。

残りの部分で、パッケージの表に出ている部分（上の面と底の面を除く）だけを切り抜きます。大きさが一定だと信じて、規定量を切り抜くように書いていますが、もっとうまい方法を思いついた方いましたら教えてください。