Lecture 6) Logistic Regression

YouTube에 올라온 Andrew Ng 교수님의 Machine Learning 영상을 보고 여섯 번째 Lecture를 듣고 캡쳐 및 내용을 적은 포스트이다.

다섯 번째 Lecture는 Octave 튜토리얼이라서 건너뛰고 혹시 궁금하다면 다른 블로그의 포스트를 찾아보자.

 

6.1 Classification

y의 값이 0이면 Negative Class이고 1이면 Positive Class이다.

e.g. Tumor(종양)가 Malignant(악성종양) 여부를 분류
- 0이면 Benign Tumor(양성종양)을 의미한다
- 1이면 Malignant Tumor(악성종양)을 의미한다

Logistic Regression도 Classification 알고리즘의 일정으로 0 <= h(x) <= 1 사이의 값을 예측한다.

 

6.2 Hypothesis Representation

 

6.3 Decision Boundary

위처럼 Linear 형태로 Decision Boundary를 정할 수 있지만, 그렇지 않은 경우도 있다.

 

6.4 Cost Function

Logistic Regression도 Linear Regression처럼 Convex 형태를 갖는게 일반적이나,Non-Linear한 경우도 존재하기 때문에 Non-Convex 형태를 보이기도 한다. Non-Convex에서는 Global Minimum을 구할 수 없기 때문에 Convex한 형태로 만들어줘야 한다.

Non-Convex를 방지하기 위한 Logistic Regression의 Cost function은 아래와 같다.

 

6.5 Simplified Cost Function & Gradient Descent

아래는 Gradient Descent를 사용해 Cost Function을 최소하는 방법에 대한 정의이다.

 

6.6 Advanced Optimization

Optimization 알고리즘은 Gradient Descent, Conjugate Gradient, BFGS, L-BFGS 총 4가지가 있다.Conjugate Gradient, BFGS, L-BFGS를 사용했을 때의 장단점은 아래와 같다.

<장점>
- α를 Manually 선택 불필요
- Gradient Descent보다 종종 빠를 때가 있음

<단점>
- Gradient Descent보다 더 복잡함

 

6.7 Mutliclass Classification One vs All

Email 폴더 또는 태깅을 Work, Friends, Family, Hobby로 해야한다고 가정하자.

그러면 y값은 1, 2, 3, 4 총 4개가 될 수 있음을 알 수 있다. 이러한 경우를 Multi-class Classification이라고 한다.