경사 하강법을 이용한 신경망 학습
1. 기존 머신러닝과 딥러닝의 특징 사람이 생각한 알고리즘을 이용한 분류 사람이 생각한 특징(SIFT, HOG 등)을 추출하고, 기계학습(SVM, KNN 등)으로 분류 신경망을 통해 분류. 데이터만 주어지면 특징 추출, 분류 모두 자동으로 진행된다. 2. 손실 함수 신경망 성능의 나쁨을 나타내는 지표로, 평균 제곱 오차나 교차 엔트로피 오차 등을 사용합니다. 신경망은 미분을 이용해서 이 함수의 값을 줄이는 것을 목표로 학습합니다. 평균 제곱 오차(Mean Squared Error, MSE) y_k는 신경망의 출력, t_k는 One-Hot Encoding된 정답 레이블, k는 데이터의 차원 수. 교차 엔트로피 오차(Cross Entropy Error, CEE) t_k 값은 정답 레이블에선 1, 나머지는 0..
뉴럴네트워크의 기본, 퍼셉트론(perceptron)에 대해 알아보자
안녕하세요, 오늘은 퍼셉트론에 대해서 알아보도록 하겠습니다. 퍼셉트론은 여러 개의 input 신호를 받아, 하나의 output 신호를 출력하는 알고리즘입니다. 이는 인공 신경망, 즉 Neural Network을 구성하는 가장 간단한 단위라고 할 수 있습니다. 아래 그림 [1-1]을 보면, 퍼셉트론은 다수의 신호를 받아 하나의 신호를 출력할 수 있습니다. 입력으로 받은 신호에 각각 가중치를 곱한 뒤, 임계값을 초과하면 1을, 아니면 0을 출력합니다. 퍼셉트론은 입력으로 받은 신호에 각각 가중치를 곱한 값이, 임계값($\theta$)를 초과하면 1, 임계값 이하이면 0을 출력합니다. 따라서 이는 간단한 형태의 이진 분류기(Binary Classificator)로 볼 수 있습니다. 가중치($w_1, w_2, ..
