[핸즈온 머신러닝] 규제

이전까지 선형 모델의 비용 함수는 RSS를 최소화하는, 즉 실제 값과 예측 값의 차이를 최소화하는 것만 고려 그 결과 학습 데이터에 과대적합되어 회귀 계수가 쉽게 커져 변동성이 오히려 심해져 테스트 데이터셋에서 예측 성능이 저하됨 alpha : 학습 데이터 적합 정도와 회귀 계수 값 크기 제어하는 튜닝 파라미터 alpha ↑ : 회귀 계수 W의 값 작게 해 과적합 개선 : 릿지(Ridge) 회귀 : 라쏘(Lasso) 회귀 릿지 회귀 규제항으로 회귀계수 제곱 합 대입 α가 0이면 선형 회귀 α가 매우 크면 모든 가중치는 거의 0에 가까워지고 결국 데이터의 평균 지나는 수평선이 됨 StandardScaler와 같은 라이브러리를 이용해 데이터 스케일 맞춰야 함 α를 증가시킬수록 직선에 가까워짐 릿지 회귀의 정..