[ML/DL] Activation function(활성화 함수)의 쓸모

차근차근 실습하며 배우는 파이토치 딥러닝이라는 책을 통해 파이토치를 공부하고 있는데 내가 두루뭉술하게만 알고 있었던 내용을 일목요연하게 정리해주는 내용이 있어 한번 정리해보고자 한다.(시험기간인데 너무 재밌어서 이것만 공부하고 있다.. 😭)  활성화 함수(Activation Function) 결론부터 말하자면 활성화 함수의 공통점은 모두 비선형 함수라는 것이다.  활성화 함수의 비선형성이 왜 필요할까를 생각하기 이전에, 우리가 생각하는 딥러닝 아키텍쳐에 대해 다시 한번 생각해보자. 우리는 흔히 딥러닝을 레고 블럭을 쌓는 것에 비유한다. 이 때 레고 블럭 하나하나를 층(layer)이라고 하며, 각각의 layer는 선형함수다. 이렇게 딥러닝에서 층을 쌓는 이유는 모델이 더 복잡하고 추상적인 표현을 학습할 ..