[Regression] 메타코드 강의 후기_챕터 3: Pytorch Exercises - Logistic Regression

 

Logistic Regression 이란?

- Logistic Regression은 통계학에서 전통적으로 많이 사용하는

선형회귀분석(LinearRegression)의 variation이다

- 반응변수Y가범주형일경우(=분류모델)에사용가능하다

- Neural Network 이전에 Classification에서 많이 사용되었던 모델이다 

 

 

- 파산여부(Y)과 잔고(X)의관계를나타내는선형 회귀모델이다 

- 파산여부에대한확률을구하고싶은데,

적합된 모델은확률인Y의범위(0, 1)을넘을때,,,,의 문제를 어떻게 해결할까? 

- 이러한문제를적절한범위를가지는로지스틱 함수를도입해해결한것이로지스틱회귀분석이다 

 

 

- 로지스틱함수의모양

0과1에 가까워지지만 넘지않는 '확률'의 특성에딱맞아떨어지는함수형태이다

- 식은 위와 같은데, 간단히 짚고 넘어가자

 

 

Odds 와 Logistic Regression 모델해석

- p(Y)- Odds: 1−p(Y) , 성공할 확률 / 실패할확률

- p(Y)- 앞서보았듯logistic regression은 1−p(Y) = e𝛼+𝛽x 의 형태를 갖기때문에,

Input X가 1만큼증가하면 label Y의 odds가 𝒆𝒙𝒑(𝜷)만큼 변화한다

- 여러개의X 변수들이있을때, 나머지변수들은고정된상태에서해석해야한다

 

 

 

Classification with Neural Network

• 3-Depth FC Layers Neural Net

Input FC Layer (5, 10) -> FC Layer (10, 5) -> ReLU -> ... -> output

• Logistic Regression 모델과의 비교하자

Logistic Regression vs 2 Layers Neural Network

Parameter 수 : 최적화방식 선형모델 14개(절편+ 회귀계수)  vs 127개(5*10+10)+(10*5+5)+(5*2+2) LBFGS (준-뉴턴방식의알고리즘)

선형모델 : O (generalized linear model) vs Gradient Descent X (ReLU라는비선형함수포함한다. 

 

 

---

메타코드 4기 서포터즈 활동의 일환으로 작성한 게시글입니다. 

메타코드M (mcode.co.kr)