필요한 패키지를 가져옵니다.

import numpy as np
import matplotlib.pyplot as plt

from tensorflow.keras.models import Sequential, load_model
from tensorflow.keras.layers import Dense
from tensorflow.keras.callbacks import ModelCheckpoint
from tensorflow.keras.utils import plot_model, to_categorical
from tensorflow.keras.datasets import mnist

숫자 솔글씨 데이터셋을 불러옵니다.

(x_train, y_train), (x_test, y_test) = mnist.load_data()

print('x_train shape : ' + str(x_train.shape))
print('y_train shape : ' + str(y_train.shape))
print('x_test shape : ' + str(x_test.shape))
print('y_test shape : ' + str(y_test.shape))

x_train shape : (60000, 28, 28)
y_train shape : (60000,)
x_test shape : (10000, 28, 28)
y_test shape : (10000,)

테스트할 샘플 하나를 살펴봅니다.

plt.imshow(x_test[0], cmap='gray')

인공지능 모델이 이 이미지를 입력받았을 때, 해당하는 숫자를 출력할 수 있도록 만드는 것이 목표입니다. 우리는 y_test 라벨값도 가지고 있어서 바로 확인은 할 수 있으나, 모델 학습 시에는 사용이 되지 않으며, 시험 평가할 때만 사용됩니다.

print(y_test[0])

test label
7

모델 학습에 용이하도록 다음과 같이 데이터 전처리를 수행합니다.

데이터 전처리
- 3차원(샘플수, 세로, 가로)를 2차원(샘플수, 벡터수)으로 변경
- 정수를 실수로 변경
- 0 ~ 255 사이의 수치를 0.0 ~ 1.0 사이로 정규화 수행
라벨 전처리
- 0 ~ 9 라벨에 대한 원핫인코딩 수행

x_train = x_train.reshape(60000, 784).astype('float32') / 255.0
x_test = x_test.reshape(10000, 784).astype('float32') / 255.0
y_train = to_categorical(y_train)
y_test = to_categorical(y_test)

모델은 다음과 같이 구성하였습니다.

입력: 1차원의 784개 벡터
출력: 10개 벡터
출력층의 활성화 함수: 소프트맥스
손실함수: categorical_crossentropy
최적화기: adam
평가 메트릭: accuracy

model = Sequential([
    Dense(64, input_dim=28*28, activation='relu'), 
    Dense(32, activation='relu'), 
    Dense(10, activation='softmax')
])

model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

모델 네트워크 아키텍처 구성을 그려보겠습니다.

plot_model(model, show_shapes=True)

모델을 학습시킬 때, validation_split 옵션을 두면 훈련셋 일부를 검증셋으로 설정할 수 있습니다. 0.2로 설정할 경우, 전체 훈련셋에서 20%를 검증셋, 나머지를 훈련셋으로 구성하여 학습합니다.

hist = model.fit(x_train, y_train, 
                 validation_split=0.2, 
                 batch_size=32,
                 epochs=100)

Epoch 1/100
1500/1500 [==============================] - 7s 2ms/step - loss: 0.3488 - accuracy: 0.8984 - val_loss: 0.1793 - val_accuracy: 0.9477
Epoch 2/100
1500/1500 [==============================] - 3s 2ms/step - loss: 0.1545 - accuracy: 0.9540 - val_loss: 0.1406 - val_accuracy: 0.9573
Epoch 3/100
1500/1500 [==============================] - 3s 2ms/step - loss: 0.1108 - accuracy: 0.9673 - val_loss: 0.1176 - val_accuracy: 0.9643
Epoch 97/100
1500/1500 [==============================] - 3s 2ms/step - loss: 0.0091 - accuracy: 0.9975 - val_loss: 0.3265 - val_accuracy: 0.9724
Epoch 98/100
1500/1500 [==============================] - 3s 2ms/step - loss: 0.0039 - accuracy: 0.9990 - val_loss: 0.3267 - val_accuracy: 0.9747
Epoch 99/100
1500/1500 [==============================] - 3s 2ms/step - loss: 0.0034 - accuracy: 0.9992 - val_loss: 0.3298 - val_accuracy: 0.9741
Epoch 100/100
1500/1500 [==============================] - 3s 2ms/step - loss: 0.0058 - accuracy: 0.9985 - val_loss: 0.3491 - val_accuracy: 0.9734

학습 시 매 에포크에 해당하는 훈련셋과 검증셋에 대한 손실값과 평가 메트릭 수치를 확인할 수 있습니다. 이를 시각화시키면 오버피팅 여부를 한 눈에 확인할 수 있습니다.

fig, loss_ax = plt.subplots()

acc_ax = loss_ax.twinx()

loss_ax.plot(hist.history['loss'], 'y', label='train loss')
loss_ax.plot(hist.history['val_loss'], 'r', label='val loss')

acc_ax.plot(hist.history['accuracy'], 'b', label='train acc')
acc_ax.plot(hist.history['val_accuracy'], 'g', label='val acc')

loss_ax.set_xlabel('epoch')
loss_ax.set_ylabel('loss')
acc_ax.set_ylabel('accuray')

loss_ax.legend(loc='upper left')
acc_ax.legend(loc='lower left')

plt.show()

오버피팅이 10 에포크 이전에 발생했더라도 100 에포크까지 학습을 시켰으므로 현재 모델은 오버피팅이 되어 있는 상태입니다. 오버피팅이 되지 않은 모델을 확보하기 위해는 아래 세 가지 방법을 사용할 수 있습니다.

오버피팅이 되는 에포크를 확인하였다면, 오버피팅 전의 에포크 만큼 모델을 학습시킵니다.
콜백함수를 사용하여, 오버피팅이 감지되면 조기 중단을 시키도록 합니다.
콜백함수를 사용하여, 매 에포크마다 검증셋의 손실값을 체크한 후, 이전 손실값보다 낮은 경우 모델을 파일로 저장합니다. 즉 학습 종료가 되면, 파일에 저장된 모델은 손실값이 가장 낮을 때의 가중치를 가지고 있습니다.

1번 방법은 두 번 학습을 시켜야하고, 2번 방법은 더 학습이 가능했음에도 설정된 오버피팅 감지 조건에 의해 조기 중단이 될 수도 있으므로, 이후 실습에서는 주로 3번 방법을 사용하도록 하겠습니다.

모델 정의부터 컴파일, 콜백함수 정의, 모델 학습까지의 코드는 아래와 같습니다. 다음부터는 두 번 학습할 필요없이 아래 코드로 한 번만 수행합니다.

model = Sequential([
    Dense(64, input_dim=28*28, activation='relu'), 
    Dense(32, activation='relu'), 
    Dense(10, activation='softmax')
])

model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

checkpoint_callback = ModelCheckpoint("best_model.h5", 
                                      save_best_only=True, 
                                      monitor="val_loss")

hist = model.fit(x_train, y_train, 
                 validation_split=0.2, 
                 batch_size=32,
                 epochs=100,
                 callbacks=[checkpoint_callback])

Epoch 1/100
1500/1500 [==============================] - 4s 2ms/step - loss: 0.3272 - accuracy: 0.9060 - val_loss: 0.1780 - val_accuracy: 0.9502
Epoch 2/100
1500/1500 [==============================] - 3s 2ms/step - loss: 0.1461 - accuracy: 0.9570 - val_loss: 0.1304 - val_accuracy: 0.9607
Epoch 3/100
1500/1500 [==============================] - 3s 2ms/step - loss: 0.1042 - accuracy: 0.9686 - val_loss: 0.1338 - val_accuracy: 0.9597
Epoch 97/100
1500/1500 [==============================] - 3s 2ms/step - loss: 0.0041 - accuracy: 0.9989 - val_loss: 0.3374 - val_accuracy: 0.9734
Epoch 98/100
1500/1500 [==============================] - 3s 2ms/step - loss: 0.0058 - accuracy: 0.9981 - val_loss: 0.3186 - val_accuracy: 0.9747
Epoch 99/100
1500/1500 [==============================] - 3s 2ms/step - loss: 0.0051 - accuracy: 0.9987 - val_loss: 0.3229 - val_accuracy: 0.9731
Epoch 100/100
1500/1500 [==============================] - 3s 2ms/step - loss: 0.0051 - accuracy: 0.9986 - val_loss: 0.3874 - val_accuracy: 0.9706

이로서 현재 학습 과정 중 가장 낮은 검증셋의 손실값을 가진 모델이 "best_model.h5" 파일로 저장되었습니다.

파일로 저장된 모델을 로딩하여 시험셋으로 최종 평가를 수행합니다.

model = load_model("best_model.h5")

test_loss, test_acc = model.evaluate(x_test, y_test)

print("Test accuracy", test_acc)
print("Test loss", test_loss)

313/313 [==============================] - 1s 2ms/step - loss: 0.0919 - accuracy: 0.9726
Test accuracy 0.972599983215332
Test loss 0.09191595762968063

또한 시험셋으로 테스트한 결과를 제출하기 위해 모델 결과 파일을 저장합니다. 출력이 10개 클래스에 해당하는 벡터이므로, 분류한 클래스 정보를 얻기 위해 가장 높은 값을 가진 인덱스 값을 가지고 옵니다. 이 인덱스가 클래스를 의미하며, 이 값을 파일로 저장합니다.

y_pred = model.predict(x_test)
y_pred = y_pred.argmax(axis=-1)
np.savetxt('y_pred.csv', y_pred, fmt='%d')

목표

제출 따라하기

개념 배우기

코드 따라하기