StratifiedKFold

사이킷런의 StratifiedKFold에 대해 알아 보자.

tain, test가 데이터가 부족할때나 과적합이 발생할때 교차 검증이 필요 하다.
교차 검증이 필요 할때, 사용하는 것이 사이킷런의 StratifiedKFold이다.

from sklearn.model_selection import StratifiedKFold
import numpy as np

StratifiedKFold 라이브러리를 임포트 한다.

data = np.arange(1, 10).reshape(9, 1)
col = [[1], [2], [3], [1], [2], [3], [1], [2], [3]]
data = np.append(data, col, 1)
data

결과)
array([[1, 1],
       [2, 2],
       [3, 3],
       [4, 1],
       [5, 2],
       [6, 3],
       [7, 1],
       [8, 2],
       [9, 3]])

1부터 9까지 배열을 reshape 하여 9행 1열의 배열로 변환한다.

칼럼을 추가한다.
np.append(data, col, 1)

X_data = data[:, 0]
Y_data = data[:, 1]

skf = StratifiedKFold(n_splits=3)
#skf = StratifiedKFold(n_splits=3, shuffle=True, random_state=1234)

for train_index, test_index in skf.split(X_data, Y_data):
print('--------------------')
X, test_X = X_data[train_index], X_data[test_index]
print('X=', X, 'test_X=', test_X)

결과)
--------------------
X= [4 5 6 7 8 9] test_X= [1 2 3]
--------------------
X= [1 2 3 7 8 9] test_X= [4 5 6]
--------------------
X= [1 2 3 4 5 6] test_X= [7 8 9]

여기서는 n_splits=3으로 3개의 셋트로 나눈다.
3개의 셋트에서 한개의 테스트 셋트와 두개의 학습 셋터 데이터로 3번 반복한다.

만약 케라스 학습한다면

하나, n_splits 갯수 만큼 셋트가 만들어진다.
둘, n_splits 갯수 만큼 반복하여 학습과 평가를 한다.

StratifiedKFold를 shuffle, random_state를 안하면 순서대로 분리된다.

테스트 1 2 3	학습 4 5 6	학습 7 8 9
학습 1 2 3	테스트 4 5 6	학습 7 8 9
학습 1 2 3	학습 4 5 6	테스트 7 8 9

평가1

평가2

평가3

평균( 평가 1, 2, 3)

전체 소스

from sklearn.model_selection import StratifiedKFold
import numpy as np

data = np.arange(1, 10).reshape(9, 1)
col = [[1], [2], [3], [1], [2], [3], [1], [2], [3]]
data = np.append(data, col, 1)

X_data = data[:, 0]
Y_data = data[:, 1]

skf = StratifiedKFold(n_splits=3)
#skf = StratifiedKFold(n_splits=3, shuffle=True, random_state=1234)

for train_index, test_index in skf.split(X_data, Y_data):
print('--------------------')
X, test_X = X_data[train_index], X_data[test_index]
print('X=', X, 'test_X=', test_X)