[Computer Vision] 4. Introduction to Neural Networks

스탠포드대학에서 발표한 CNN 강의 영상을 듣고 자료를 정리했습니다.

Lecture 4 | Introduction to Neural Networks

Front propagation

• x, y, z값이 주어지고, 왼쪽에서 오른쪽 노드로 건너가며 연산이 진행

Back propagation

• x, y, z가 f(x,y,z)에 어떠한 영향을 미치는지 알아보기 위해 backpropagation 연산을 활용
• 말 그대로 거꾸로 연산

• 뒤에서부터(마지막 연산부터) 편미분

  

• 행렬 Back propagation연산은 다음과 같다

  

• Jacobian Matrix

  

  • 야코비 행렬은 해당 함수의 편도함수 행렬으로, local gradient * global gradient 연산을 할 때 필요한 매트릭스다.
  • Jacobian matrix크기는 4096 * 4096 으로 주어지면 minibatch 를 이용해 연산 시, 실용적이지 못하다. 따라서 연산하지 않고, 출력에 대한 x영향을 구할 때 max 연산을 통해 일부는 0으로 채운다.

Neurual Network

• 지난번에 다룬 Linear Classifier f = wx에 hidden layer 가 추가 되었을시 , 3072의 데이터가 w1와 곱해지고 h노드(hidden layer)에 들어가고 다시 w2 가중치 연산을 통해 10개의 출력값으로 나온다.
• hidden 노드에 따라 더 많은 Classifier를 생성할 수 있다.