[ML/DL] ResNet (feat: Skip-Connection)

오늘은 딥러닝에서 이슈가 되는 skip connection과 vanishing gradient 문제를 해결하는 ResNet에 대해 알아보고자 한다. 딥러닝 모델의 기초는 신경망이다. 신경망은 뉴런으로 구성이 되어 있고 각 뉴런은 입력값을 받아 가중치($W$)와 편향($b$)을 적용하여 활성화 함수를 통해 출력을 계산한다. 이런 뉴런들이 여러 층으로 구성되면 MLP(다층 퍼셉트론)라고 불리게 된다. 이러한 다층 퍼셉트론이 발전하여 다층 신경망이 된다. 일반적인 관점에서 더 깊은 다층 신경망이 될수록 복잡한 과제를 수행할 수 있다. 딥러닝이 발전하면서 이상한 현상을 발견하게 되는데, 더 깊은 네트워크가 오히려 성능이 저하된 현상을 발견하게 된다.모델 성능의 감소 요인에는 여러 복합적인 요인들이 있겠지만, 모..