第1回FR FRONTIER:ファッション画像における洋服の「色」分類にチャレンジ!!(3)

これは, 人工知能技術戦略会議等主催第1回AIチャレンジコンテスト[1]に引き続き, ユニクロを展開しているファーストリテイリング主催で今年4月～7月に開催された「第1回 FR FRONTIER ：ファッション画像における洋服の「色」分類」[2][3]にチャレンジしたときの取組みについて, 数回に分けて紹介するものである.

前回に続き, 今回はモデリングについて試したことの一つを紹介する.

3. モデリング(1)

今回は「色」分類なので画像内に含まれる物体の全体像は必要ない.
そこで, 画像をグリッド分割し, 各領域について「色」識別を行い, 各領域の識別結果を統合して画像全体の結果とする方法を試してみた.

3.1 前処理
画像をN×Nの領域に分割し, 背景色の画素数が閾値未満の領域を識別対象とする.
1) 画像を640×640dotにリサイズする.
2) 10×10の領域に分割する.
3) 背景色(255. 255, 255)の画素が25%未満の領域を抽出する.

f:id:moonlight-aska:20170801222402p:plain:w250

コード：

# グリッド分割処理
AREA_WIDTH = 64
AREA_HEIGHT = 64
SHIFT_SIZE = 64

# 背景画素カウント
def calc_whitepixel(img):
    count = 0
    for row in range(img.shape[0]):
        for col in range(img.shape[1]):
            if all(img[row,col] == [255,255,255]):
                count += 1
    return count

# ブロックの抽出
def split_area(img, dest):
    limit = AREA_WIDTH * AREA_HEIGHT * 0.25
    count = 0
    for y in range(0, img.shape[0], SHIFT_SIZE):
        for x in range(0, img.shape[1], SHIFT_SIZE):
            area = img[y:y+AREA_HEIGHT, x:x+AREA_WIDTH]
            pixels = calc_whitepixel(area)
            if limit > pixels:
                file, ext = os.path.splitext(dest)
                fname = '{0}_{1}{2}'.format(file, count, ext)
                cv2.imwrite(fname, area)
                count += 1

3.2 モデルと識別器
領域の「色」識別を行うモデルの構造は, 以下のようなCNNモデルとした.

f:id:moonlight-aska:20170731225127p:plain:w500

コード:

model = Sequential()
model.add(Conv2D(32, (3, 3),
                 padding=='same',
                 input_shape=(IMG_HEIGHT, IMG_WIDTH, IMG_CHANNELS),
                 activation='relu'))
model.add(Conv2D(32, (3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))

model.add(Conv2D(64, (3, 3), padding='same', activation='relu'))
model.add(Conv2D(64, (3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))

model.add(Conv2D(128, (3, 3), padding='same', activation='relu'))
model.add(Conv2D(128, (3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))

model.add(Flatten())
model.add(Dense(512, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(24, activation='softmax'))
          
model.compile(loss='categorical_crossentropy',
              optimizer=optimizers.Adam(lr=1e-4, beta_1=0.9, beta_2=0.999, epsilon=1e-08, decay=0.),
              metrics=['accuracy'])