필요한 패키지를 가져옵니다.

import numpy as np
import matplotlib.pyplot as plt

from tensorflow.keras.models import Sequential, load_model
from tensorflow.keras.layers import Dense
from tensorflow.keras.callbacks import ModelCheckpoint
from tensorflow.keras.utils import plot_model, to_categorical
from tensorflow.keras.datasets import fashion_mnist

패션아이템 이미지 데이터셋을 불러옵니다.

(x_train, y_train), (x_test, y_test) = fashion_mnist.load_data()

print('x_train shape : ' + str(x_train.shape))
print('y_train shape : ' + str(y_train.shape))
print('x_test shape : ' + str(x_test.shape))
print('y_test shape : ' + str(y_test.shape))

Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/train-labels-idx1-ubyte.gz
32768/29515 [=================================] - 0s 0us/step
Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/train-images-idx3-ubyte.gz
26427392/26421880 [==============================] - 0s 0us/step
Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/t10k-labels-idx1-ubyte.gz
8192/5148 [===============================================] - 0s 0us/step
Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/t10k-images-idx3-ubyte.gz
4423680/4422102 [==============================] - 0s 0us/step
x_train shape : (60000, 28, 28)
y_train shape : (60000,)
x_test shape : (10000, 28, 28)
y_test shape : (10000,)

테스트할 샘플 하나를 살펴봅니다.

import matplotlib.pyplot as plt

plt.imshow(x_test[0], cmap='gray')

<matplotlib.image.AxesImage at 0x7f7f98e4ae90>

인공지능 모델이 이 이미지를 입력받았을 때, 해당하는 숫자를 출력할 수 있도록 만드는 것이 목표입니다. 우리는 y_test 라벨값도 가지고 있어서 바로 확인은 할 수 있으나, 모델 학습 시에는 사용이 되지 않으며, 시험 평가할 때만 사용됩니다.

print(y_test[0])

패션아이템 이미지와 라벨의 숫자가 의미하는 아이템 이름과 함께 같이 가시화 시킵니다.

fig, axes = plt.subplots(nrows=10, ncols=10, figsize=(13, 15), 
                         subplot_kw={'xticks': [], 'yticks': []})

labels = ['T-shirt/top',
          'Trouser',
          'Pullover',
          'Dress',
          'Coat',
          'Sandal',
          'Shirt',
          'Sneaker',
          'Bag',
          'Ankle boot']

for i, ax in enumerate(axes.flat):
    ax.imshow(x_train[i], cmap = 'gray')
    title = labels[y_train[i]]
    ax.set_title(title)

plt.show()

모델 학습에 용이하도록 다음과 같이 데이터 전처리를 수행합니다.

데이터 전처리
- 3차원(샘플수, 세로, 가로)를 2차원(샘플수, 벡터수)으로 변경
- 정수를 실수로 변경
- 0 ~ 255 사이의 수치를 0.0 ~ 1.0 사이로 정규화 수행
라벨 전처리
- 0 ~ 9 라벨에 대한 원핫인코딩 수행

x_train = x_train.reshape(60000, 784).astype('float32') / 255.0
x_test = x_test.reshape(10000, 784).astype('float32') / 255.0
y_train = to_categorical(y_train)
y_test = to_categorical(y_test)

모델은 다음과 같이 구성하였습니다.

입력: 1차원의 784개 벡터
출력: 10개 벡터
출력층의 활성화 함수: 소프트맥스
손실함수: categorical_crossentropy
최적화기: adam
평가 메트릭: accuracy

model = Sequential([
    Dense(64, input_dim=28*28, activation='relu'), 
    Dense(32, activation='relu'), 
    Dense(10, activation='softmax')
])

model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

모델 네트워크 아키텍처 구성을 그려보겠습니다.

plot_model(model, show_shapes=True)

모델을 학습시킬 때, validation_split 옵션을 두면 훈련셋 일부를 검증셋으로 설정할 수 있습니다. 0.2로 설정할 경우, 전체 훈련셋에서 20%를 검증셋, 나머지를 훈련셋으로 구성하여 학습합니다.

콜백함수를 사용하여, 매 에포크마다 검증셋의 손실값을 체크한 후, 이전 손실값보다 낮은 경우 모델을 파일로 저장합니다. 즉 학습 종료가 되면, "best_model.h5" 파일에 저장된 모델은 손실값이 가장 낮을 때의 가중치를 가지고 있습니다.

checkpoint_callback = ModelCheckpoint("best_model.h5", 
                                      save_best_only=True, 
                                      monitor="val_loss")

hist = model.fit(x_train, y_train, 
                 validation_split=0.2, 
                 batch_size=32,
                 epochs=100,
                 callbacks=[checkpoint_callback])

Epoch 1/100
1500/1500 [==============================] - 7s 2ms/step - loss: 0.5467 - accuracy: 0.8094 - val_loss: 0.4228 - val_accuracy: 0.8496
Epoch 2/100
1500/1500 [==============================] - 3s 2ms/step - loss: 0.4002 - accuracy: 0.8563 - val_loss: 0.4016 - val_accuracy: 0.8550
Epoch 3/100
1500/1500 [==============================] - 3s 2ms/step - loss: 0.3596 - accuracy: 0.8688 - val_loss: 0.3702 - val_accuracy: 0.8668
Epoch 4/100
1500/1500 [==============================] - 3s 2ms/step - loss: 0.3340 - accuracy: 0.8771 - val_loss: 0.3566 - val_accuracy: 0.8718
Epoch 5/100
1500/1500 [==============================] - 3s 2ms/step - loss: 0.3162 - accuracy: 0.8850 - val_loss: 0.3591 - val_accuracy: 0.8737
Epoch 96/100
1500/1500 [==============================] - 3s 2ms/step - loss: 0.0764 - accuracy: 0.9722 - val_loss: 0.7447 - val_accuracy: 0.8804
Epoch 97/100
1500/1500 [==============================] - 3s 2ms/step - loss: 0.0757 - accuracy: 0.9714 - val_loss: 0.7074 - val_accuracy: 0.8826
Epoch 98/100
1500/1500 [==============================] - 3s 2ms/step - loss: 0.0759 - accuracy: 0.9715 - val_loss: 0.7377 - val_accuracy: 0.8795
Epoch 99/100
1500/1500 [==============================] - 3s 2ms/step - loss: 0.0723 - accuracy: 0.9737 - val_loss: 0.7065 - val_accuracy: 0.8814
Epoch 100/100
1500/1500 [==============================] - 3s 2ms/step - loss: 0.0697 - accuracy: 0.9743 - val_loss: 0.7444 - val_accuracy: 0.8845

학습 시 매 에포크에 해당하는 훈련셋과 검증셋에 대한 손실값과 평가 메트릭 수치를 확인할 수 있습니다. 이를 시각화시키면 어느 에포크에서 오버피팅이 일어났는 지 한 눈에 확인할 수 있습니다.

fig, loss_ax = plt.subplots()

acc_ax = loss_ax.twinx()

loss_ax.plot(hist.history['loss'], 'y', label='train loss')
loss_ax.plot(hist.history['val_loss'], 'r', label='val loss')

acc_ax.plot(hist.history['accuracy'], 'b', label='train acc')
acc_ax.plot(hist.history['val_accuracy'], 'g', label='val acc')

loss_ax.set_xlabel('epoch')
loss_ax.set_ylabel('loss')
acc_ax.set_ylabel('accuray')

loss_ax.legend(loc='upper left')
acc_ax.legend(loc='lower left')

plt.show()

파일로 저장된 모델을 로딩하여 시험셋으로 최종 평가를 수행합니다.

model = load_model("best_model.h5")

test_loss, test_acc = model.evaluate(x_test, y_test)

print("Test accuracy", test_acc)
print("Test loss", test_loss)

313/313 [==============================] - 1s 2ms/step - loss: 0.3442 - accuracy: 0.8765
Test accuracy 0.8765000104904175
Test loss 0.3442241847515106

또한 시험셋으로 테스트한 결과를 제출하기 위해 모델 결과 파일을 저장합니다. 출력이 10개 클래스에 해당하는 벡터이므로, 분류한 클래스 정보를 얻기 위해 가장 높은 값을 가진 인덱스 값을 가지고 옵니다. 이 인덱스가 클래스를 의미하며, 이 값을 파일로 저장합니다.

y_pred = model.predict(x_test)
y_pred = y_pred.argmax(axis=-1)
np.savetxt('y_pred.csv', y_pred, fmt='%d')

제출 따라하기

코드 배우기