이번 시간에는
1. Loss Function : MSE, Cross Entropy 에 대해 배워본 후
다음 시간에는
2. Loss 최적화 : Gradient Descent, Backpropagation
에 대해 배워보자.
1. Loss Function : MSE, Cross Entropy
Loss 란....
- == Error 라고도 불리며, 예측값과 실제값의 차이를 가리킨다.
- 이 차이를 계산하는 함수를 loss function이라고 부른다.
- 모델 학습의 목적은 궁극적으로 Loss function == Objective Funcion을 최소화하는 가중치 p 를 찾는 것이다.
- MSE는 Regression output이 연속형일 때 쓰인다.
- Cross Entropy는 Classification 할 때, 범주형 데이터에서 쓰인다.
- MSE는 차이를 다 재서, 제곱의 합의 평균을 한 것이다.
- 제곱을 하는 이유는 음수값을 피하기 위해서이다.
- 실제 결과에 따라서 어떤 모델을 써야할지 결정해야할 때,
그 Likelihood를 높이는 방향으로 가야 좋은 모델이다.
- 실제 값과 예측 확률을 곱하여 계산한다.
- 그렇다면 결국 0에 가까워지기 떄문에 log함수로 곱을 합으로 변환해야한다.
- 로그값들이 음수로 나오기 때문에 다시 - 붙여서 양수로 변환해준다.
위에 부분을 예시로 이해해보자
