[머신러닝] L1 norm, L2 norm, 과적합 방지
norm(노름) 이란, 수학용어로, 실수 혹은 복소수로 이루어진 벡터의 크기를 계산하는 함수를 말한다. L1 norm과 L2 norm이 머신러닝에서 많이 사용되는데, L1 norm 은, 절대값을 사용하고, L2 norm 은, 제곱값을 사용한다. 둘의 특징들을 아래 표에 정리한다. L1 norm L2 norm 벡터 간 거리를 구하는 방법 절대값 제곱값 쓰이는 곳 L1 regularization Lasso회귀 L2 regularization Ridge회귀 knn kmeans 특징(정규화에 쓰였을 때) 가중치가 작은 경우 0으로 만들어 버리므로, 변수 선별이 가능함. 모든 특징들이 다 조금씩은 유용하다고 보는 경우에 쓰면 좋음. 과적합(overfitting) 예측모델이 학습데이터에 대해서는 잘 예측하지만, 학..