CNN

https://seoilgun.medium.com/cnn%EC%9D%98-stationarity%EC%99%80-locality-610166700979

CNN과 이미지가 찰떡궁합인 이유

gan -> low freq 정보 살리는 쪽으로 (blur 현상)
but real-world noise가 많으면 그것들이 상대적으로 high freq라서 그것들이 사라지고 texture, edge detail과 같은 상대적 low freq가 살아날 가능성있음 -> Real-world SR 프로젝트에서 gan으로 edge detail 살릴 수 있었던 이유

 

 - Inductive biases란, 학습 알고리즘이 잘 학습할 수 있도록 미리 정의된 가정같은 것입니다.
 예를 들면, CNN은 Locality라는 가정을 활용하여 convolution filter 적용하여 공간적인 문제를 풀고, RNN은 Sequentiality라는 가정을 활용해서 순차적인 입력으로 시계열적인 문제를 푸는 것과 같은 맥락입니다.
 - 반면에 Transformer 계열은 positional embedding이나 Self-attention 매커니즘을 활용해 receptive field 크기의 한계가
있는 convolution이 아닌 이미지 자체의 모든 정보를 활용하지만 그 정보의 추가적인 가정까지 스스로 추론해야하기 때문에, inductive bias가 부족하여 많은 데이터가 필요하다는 것입니다.