keras basics2

앞장에서 케라스를 그대로 무작정 따라 했지만 실제값과 예측값의 차이가 너무 크게 나왔다.

무작정 따라한 것 - keras basics :tutorial04.html

비슷한값 출 - keras basics :tutorial05.html

이번장에서는 정확도를 높여 보자.
Me

1. 데이터 전처리
2. 모델 구성
3. 모델 훈련
4. 모델 평가 예측

# 1. 데이터 전처리
from keras.models import Sequential
from keras.layers import Dense
import numpy as np

x = np.linspace(1, 10, 10)
y = x

# 2. 모델 구성
model = Sequential()
model.add(Dense(10, input_dim=1, activation='linear'))
model.add(Dense(10, activation='linear'))
model.add(Dense(8, activation='linear'))
model.add(Dense(1))

# 3. 모델 훈련
model.compile(optimizer='adam', loss='mse', metrics=['mae'])
model.fit(x, y, epochs=100, verbose=0)

# 4. 모델 평가 예측
loss_met = model.evaluate(x, y, batch_size=1)
print(loss_met)

predict = model.predict(x)
print('y', y, ' predict: \n', predict)

# RMSE 구하기
from sklearn.metrics import mean_squared_error
def RMSE(y_test, y_predict):
return np.sqrt(mean_squared_error(y_test, y_predict))
print('RMSE : ', RMSE(y, predict))

# R2 구하기
from sklearn.metrics import r2_score
r2_predict = r2_score(y, predict)
print('R2 : ', r2_predict)

1. 데이터 전처리

models, layers 라이브러리에서 Sequential, Dense 오브젝트를 임포트 한다.
numpy도 임포트 한다.

numpy linspace를 이용해 데이터를 입력한다.

x = np.linspace(1, 10, 10)

2. 모델 구성

model = Sequential()
model.add(Dense(10, input_dim=1, activation='linear'))
model.add(Dense(10, activation='linear'))
model.add(Dense(8, activation='linear'))
model.add(Dense(1))

activation을 'relu'에서 'linear'로 변경한다.

3. 모델 훈련

model.compile(optimizer='adam', loss='mse', metrics=['mae'])
model.fit(x, y, epochs=100, verbose=0)

Metrics에서 'accuracy'는 분류(Classification)를 측정할때 사용된다. 선형 항목의 측정에는 적절하지 않다.
선형 항목의 측정에는 평균 절대 오차(Mean Absolute Error, MAE)를 사용한다.
이는 실제값과 예측값 사이의 차이를 나타낸다. 값이 작을수록 좋다

4. 모델 평가 예측

loss_met = model.evaluate(x, y, batch_size=1)
print(loss_met)

predict = model.predict(x)
print('y', y, ' predict: \n', predict)

결과)

10/10 [==============================] - 0s 3ms/step - loss: 0.0059 - mae: 0.0659
[0.005890830419957638, 0.06592752039432526]
1/1 [==============================] - 0s 102ms/step
y [ 1.  2.  3.  4.  5.  6.  7.  8.  9. 10.]  predict: 
 [[1.133759 ]
 [2.1076424]
 [3.081525 ]
 [4.055408 ]
 [5.0292907]
 [6.0031734]
 [6.977056 ]
 [7.9509387]
 [8.924823 ]
 [9.8987055]]
RMSE :  0.07675180232757674
R2 :  0.9992859588896326

코드 변경시 loss, mae, RMSE, R2 값의 변화

모델구성에서 은닉층의 활성화 함수를 지정 안할때

# 2. 모델 구성
model = Sequential()
model.add(Dense(10, input_dim=1, activation='linear'))
model.add(Dense(10))
model.add(Dense(8))
model.add(Dense(1))

loss: 0.0546 - mae: 0.1946
RMSE :  0.23361375790883107
R2 :  0.9933848014685714

모델구성에서 활성화 함수를 'relu'로 변경시

# 2. 모델 구성
model = Sequential()
model.add(Dense(10, input_dim=1, activation='relu'))
model.add(Dense(10, activation='relu'))
model.add(Dense(8, activation='relu'))
model.add(Dense(1, activation='relu'))

loss: 1.9510 - mae: 1.1420
RMSE :  1.396765792125497
R2 :  0.76352064508461

모델구성에서 은닉층의 'relu' 활성화 함수를 지정 안할때

# 2. 모델 구성
model = Sequential()
model.add(Dense(10, input_dim=1, activation='relu'))
model.add(Dense(10))
model.add(Dense(8))
model.add(Dense(1))

loss: 0.1180 - mae: 0.2844
RMSE :  0.3434691711207668
R2 :  0.9857004761805592

훈련시 에포크를 1000으로 올릴때

# 3. 모델 훈련
......
model.fit(x, y, epochs=1000, verbose=0)

에포크를 100에서 200으로 올리면 효과가 있는건지, 없는건지 애매했다.
1000으로 올리면 확실하게 효과가 나타났다.
제일 좋은 케이스의 결과이다.

loss: 3.0484e-09 - mae: 4.6343e-05
RMSE :  5.516639947601564e-05
R2 :  0.9999999996311113

참고)
Metrics에서 'accuracy'는 분류(Classification)를 측정할때 사용된다. 선형 항목의 측정에는 적절하지 않다.
https://stackoverflow.com/questions/51181393/simple-linear-regression-using-keras

Keras Classification Metrics
https://machinelearningmastery.com/custom-metrics-deep-learning-keras-python/