Regularization : L1, L2 regularization
본문을 읽기 전에 regularization글을 읽고 오시면 좋습니다. L1, L2 norm이란 무엇인가? Norm에 대해 알아보자 norm이란 벡터의 크기(길이)를 측정하는 방법입니다. 쉽게 말해, 두 벡터 사이의 거리를 측정하는 방법입니다. 여기에서 p는 Norm 의 차수를 말합니다. `p=1`일 경우 L1 norm을, `p=2`일 경우 L2 norm을 뜻합니다. 간단하게 L1, L2냐에 따라 항이 1차항인지, 2차항인지 나뉜다고 생각하시면 됩니다. 위의 식에서 n은 해당 벡터의 원소 수를 일컫습니다. L1 norm (p=1) L1 norm은 벡터 p, q 의 각 원소들의 차이의 절대값의 합입니다. 예를 들어 vector `p = (3,1,-3)`이고 `q = (5,0,7)`일 때, p, q의 L1 ..