metacodern 썸네일형 리스트형 [Backpropagation] 메타코드 강의 후기_챕터2: Pytorch Fundamentals - Loss 최적화 - Gradient Descent 이번 시간에는 저번 시간에 이어 뉴럴 네트워크 학습에 대해 공부해봅시다. 저번시간에 Loss 의 정의와 Loss Function들을 배웠는데, 이번 시간에는 그 Loss를 어떻게 줄여나가야 하는지, 그 방식으로 Gradient Descent 와 Backpropagation에 대해 배워봅시다. Loss를 줄이는 것이 목표라면... 어떻게 최적화해야할까요? ex ) 산 정상에서 빨리 내려오려면 모든 곳에 발을 뻗어서 기울기가 가파른 방향으로 가야할 것이다. 이 행동을 매번 반복해서 더 이상 뻗을 곳이 없을 때가 minimum 에 도달해서 도착한 것이다. - Gradient : 기울기 - Descent : 하강 - 주어진 Loss Function의 최소값을 찾아가는 알고리즘이다- 결국 weight ( .. 더보기 [Loss Function] 메타코드 강의 후기_챕터2: Pytorch Fundamentals - Loss Function 이번 시간에는 1. Loss Function : MSE, Cross Entropy 에 대해 배워본 후 다음 시간에는 2. Loss 최적화 : Gradient Descent, Backpropagation에 대해 배워보자. 1. Loss Function : MSE, Cross Entropy Loss 란....- == Error 라고도 불리며, 예측값과 실제값의 차이를 가리킨다. - 이 차이를 계산하는 함수를 loss function이라고 부른다.- 모델 학습의 목적은 궁극적으로 Loss function == Objective Funcion을 최소화하는 가중치 p 를 찾는 것이다. - MSE는 Regression output이 연속형일 때 쓰인다. - Cross Entropy는 Classification .. 더보기 [Linear Layer] 메타코드 강의 후기_챕터2: Pytorch Fundamentals - Neural Network - Matrix Multiplication 저번시간까지 텐서 이론 + 실습을 했다면 이번 시간에는1. Matrix Multiplication, 2. Neural Net : Linear Layer 에 대해 공부해보도록 하자. 1. Matrix Multiplication - R은 차원 T는 transformM은 matrix - 절댓값을 씌워서 차원을 표시하기도 함- 콤마 뒤에 1은 생략 가능하다 - 쉐입이 같아야 연산 가능하다. 배치 -> 묶어서 한다. Batch Matrix Multiplication(BMM)은 같은 개수의 행렬 쌍들에 대해서 병렬로 행렬 곱을 실행한다. 인풋 벡터에 웨이트가 곱해져서 하나의 아웃풋 벡터가 나오는데이걸 N번 하는 것보다 한번으로 처리해버리면 속도가 빨라지기 때문에 배치학습을 사용하는 것이다. 실제로.. 더보기 이전 1 2 다음
