Lecture 7) Regularization

YouTube에 올라온 Andrew Ng 교수님의 Machine Learning 영상을 보고 일곱 번째 Lecture를 듣고 캡쳐 및 내용을 적은 포스트이다.

 

7.1 The Problem Of Overfitting

Cost Function이 Linear Regression인 Housing Prices 사례로 Overfitting을 알아보자.

즉 Overfitting은 많은 feature를 갖고 있을 때 Hypothesis가 아마도 Training Set에 매우 Fit되어 있을 수 있다. 따라서 새로운 Data Set에 대해서는 일반화하는 것을 실패할 수 밖에 없다.

 

Cost Function이 Logistic Regression인 사례로도 Overfitting을 알아보자.

Overfitting을 막기 위해서는 아래와 같은 Option을 적용해볼 수 있다.

1. feature 개수 줄이기
  - 유지할 feature를 직접 선택할 것
  - Model Selection 알고리즘을 사용할 것
2. Regularization
  - 모든 feature를 유지하려면 θ의 크기 또는 값을 줄이기
  - 많은 feature를 가지고 있어도 동작을 잘 한다면, 유지할 것

 

7.2 Cost Function

Housing Prices의 Cost Function에 Regularization을 적용하면 아래와 같다.

만약 λ가 극도로 큰 값으로 설정된다면, Underfit 상황이 발생한다.