Regression

Regression(회귀분석)이란, 변수와 변수 간의 관계를 유추하는 방법입니다. 데이터가 존재할 때, 그 데이터를 잘 나타낼 수 있는 함수를 추정하는 방법입니다.

Regression의 종류는 Linear Regression, Logistic Regression 등이 있습니다.

Linear Regression(선형 회귀분석): 선형함수를 추정하는 회귀분석입니다.
Logistic Regression(로지스틱 회귀분석): 이항 분류 문제(True, False로 분류하는 문제)를 해결하는 회귀분석입니다.
이외 다항함수 등 다양한 함수로 추정하는 회귀분석이 있습니다.

문맥에 따라 Regression은 Linear Regression만을 나타내기도 합니다.

종속 변수 y와, 한개 이상의 독립 변수 X와의 선형 상관 관계를 모델링하는 회귀분석입니다. 데이터의 패턴을 비슷하게 모사하는 선형 함수를 찾게 됩니다.

실제 값과, Regression으로 구한 선형 함수 간에 오차가 발생할 수 있습니다. 이 오차를 최소화하는 방식으로 선형 함수를 학습합니다. Linear Least Squares(최소제곱법)라는 방법을 사용하여, 오차 제곱의 합이 최소화되는 선형 함수를 찾습니다.

로지스틱 회귀는 이항분류 문제에 사용되는 회귀로, 특정 분류에 속한다/안 속한다를 판별할 때 사용한다. Sigmoid 함수 등을 이용할 수 있다.

과거의 데이터를 이용해 미래 예측. 지난 10년간 음료 판매량 데이터가 있을 때 회귀분석으로 미래의 음료 판매량을 추정할 수 있습니다.
비연속적 데이터를 이용해 연속적인 값 예측. 매년 1월 1일마다 국가의 총 인구수를 조사한 데이터가 있을 때 회귀분석으로 매년 7월 1일 등의 데이터를 추정할 수 있습니다.

넓은 의미의 Regression으론 아래와 같은 것들이 있습니다.

흑백 이미지에 색 입히기(논문: Deep Colorization): 입력이 흑백 이미지이고 출력이 컬러 이미지인 함수를 Regression 기반 model로 구현하였다고 볼 수 있다.
글의 감정 분석하기: 입력이 텍스트이고 출력이 감정(행복 등등)을 가진 정도인 함수를 회귀분석으로 구해내는 Model로 볼 수 있을 것이다.

이와 같이, 입력과 출력이 있으면서 출력이 연속적인 값인 함수는 모두 넓은 범위의 회귀분석으로 볼 수 있습니다.

참고 자료)

(1) 로지스틱 회귀 (Logistic Regression)

로지스틱 회귀는 이항분류 문제에 사용되는 회귀로, 특정 분류에 속한다/안 속한다를 판별할 때 사용한다. Sigmoid 함수 등을 이용할 수 있다.

종속 변수 y와 한 개 이상의 독립 변수 X와의 선형 상관 관계를 모델링하는 회귀분석
데이터의 패턴을 비슷하게 모사하는 선형 함수를 찾는 방법.
실제 값과 구한 선형 함수 간에 오차가 발생한다.
Linear Least Squares: 오차 제곱의 합이 최소화되는 선형 함수를 찾는 방법
- 오차 제곱의 합을 쓰는 이유: 함수와 점들의 거리의 합이 최소가 되는 것이 목표이기 때문에.

Reference)