퍼셉트론 모델과 신경망

퍼셉트론이란

퍼셉트론은 인공 신경망으로 다수의 입력으로부터 하나의 결과를 보내는 알고리즘입니다. 실제 뇌를 구성하는 신경 세포 뉴런의 동작과 유사한데, 다수의 입력을 받는 퍼셉트론의 그림은 위와 같습니다. 입력신호와 출력 신호가 퍼셉트론에서 각각 입력값과 출력값에 해당합니다.

x는 입력값, w는 가중치, y는 출력값입니다.

 

각 입력값이 가중치와 곱해져서 인공뉴런에 보내지고 각 입력값과 그에 해당하는 가중치의 곱의 전체합이 임계치를 넘으면 출력신호로서 1을 출력하고 그렇지 않을 경우 0을 출력합니다.이러한 함수를 계단한수라고 부릅니다.

 

가중치와 편향

 

  b + w1x1 + w2x2 <0    => 0    b + w1x1 + w2x2 >=0  => 1

위 식에서 b를 편향이라고 할 수 있습니다.

기계학습 분야에서는 모델이 학습 데이터에 과적합되는 것을 방지하는 것이 중요합니다.

과적합이란 모델이 엄청 유연해서 학습데이터는 잘 분류하지만 , 다른 데이터를 넣어봤을 때는 제대로 성능을 발휘하지 못하는 것을 듯합니다.

따라서 편향은 학습데이터이 가중치와 계산되어 넘어야하는 임계점으로 이 값이 높으면 높을수록 그만큼 분류의 기준이 엄격하다는 것을 의미합니다.

그래서 편향이 높을 수록 모델이 간단해지는 경향이 있으며 오히려 과소적합의 위험이 발생하게 됩니다. 

 

 

신경망

 

많은 퍼셉트론들을 연결하고 이를 수학적으로 표현하면 위 그림과 같습니다.

입력층과 출력층 사이에 히든 레이어가 있고 히든레이어는 외부를 볼 수 없는 층들입니다.

히든 레이어가 3개이상 있으면 딥 네트워크라고 간주합니다.