예측 모델 : 회귀(Regression)

예측 모델은 주어진 변수들 사이의 상관관계를 찾아내어 어떠한 결과값을 예측하기 위한 모델입니다. 예측 모델로는 회귀(Regression) 모델과 분류(Classification) 모델이 있습니다. 회귀는 결괏값이 연속적인 값이고, 분류는 결괏값이 명확한 라벨(Label)이라는 차이가 있습니다. 이번 게시물에서는 그 중 회귀 모델에 대해서 간단히 알아보겠습니다.

 

y = a1x1 + a2x2 + a3x3

위 식처럼 '회귀 계수(a)'를 '변수(x)'와 선형 결합해서 표현 가능한 모델을 선형 회귀 모델이라고 합니다. 반면 비선형 모델은 회귀 계수들을 선형 결합해서 표현하지 못하는 모델을 뜻합니다. 따라서 선형 회귀 모델은 모델의 형태가 반드시 "선형", 즉 직선 형태여야 합니다.

 

그것이 1개의 변수로 1개의 예측값을 뽑아내는 2차원 평면 상의 모델, 즉 단순 선형 회귀 모델이건, 2개의 변수로 1개의 예측값을 뽑아내는 3차원 공간 상의 모델, 즉 다중 선형 회귀 모델이건 말이죠. 위 식은 3개의 변수 x1, x2, x3로 1개의 예측값 y를 뽑아내는 4차원 공간 상의 다중 선형 회귀 모델입니다.

선형 모델은 변수의 계수에 대한 해석이 단순하다는 장점을 갖는 한편, 변수를 결합하는 형태가 한정적이므로 모델의 유연성이 떨어진다는 단점이 있습니다. 선형 모델의 예시로 위에서 언급한 단순 선형 회귀 모델과 다중 선형 회귀 모델이 있습니다.

ex) y = 2x+1, y = 3x-2z+4k, ...

반면 비선형 모델은 모델이 복잡할 경우 해석이 어렵지만, 그만큼 유연성이 높아 복잡한 데이터도 잘 설명할 수 있다는 장점을 갖고 있습니다. 또한 일반적으로 학습에 많은 데이터가 필요합니다. 비선형 모델의 예시로 다항(2차 이상) 회귀 모델, 로그 함수 모델, 지수 함수 모델 등등이 있겠습니다.

ex) y = 3x^2+1, y = 2log(x), y = e^(-x), ...