딥러닝이 최근 부흥한 이유 & NN의 단점과 One-Shot Learning

# 왜 갑자기 딥러닝이 부흥했을까요?

 

1. 옛날에 비해서 데이터가 엄청나게 많아졌기 때문. 딥러닝은 엄청난 데이터들을 기반으로 학습한다. 따라서 그만큼 데이터가 많아야 하는데, 요즘같이 데이터가 쏟아져 나오는 시대에 딥러닝은 부흥할 수밖에 없다.

 

2. 하드웨어의 성능이 좋아졌기 때문. 딥러닝은 많은 데이터를 처리하기 때문에 연산량이 엄청나게 많아진다. 이 연산량을 감당할 수 있는 GPU 같은 하드웨어가 개발되고 그것들의 성능이 빨리 좋아졌기 때문에 그에 발 맞추어 딥러닝도 빠르게 발전할 수 있었다.

 

3. 딥러닝 알고리즘이 발전했기 때문. 원래는 심층 신경망(DNN)을 훈련시킬 안정적인 방법을 찾지 못함. 그래서 분류 문제를 예로 들면, SVM이나 랜덤 포레스트 같은 잘 정리된 얕은 학습 방법에 비해 심층 신경망은 크게 빛을 보지 못함. 깊게 쌓은 hidden layer를 통과해서 gradient를 전파하는 것이 가장 큰 문제였음. 신경망을 훈련하기 위한 피드백 신호가 층이 늘어감에 따라 희박해지기 때문. 그러나 더 좋은 활성화 함수(Activation function), 더 좋은 최적화 방법(Optimization), 가중치 초기화 (Weight Intialization), 배치 정규화(Batch Normalization), Residual connection, Depthwise seperable convolution 같은 기술들이 개발되면서 그러한 문제들을 어느 정도 해결함.

 

# NN의 가장 큰 단점은? 이를 위해 나온 One-Shot Learning이란?

 

Neural Net의 가장 큰 단점은 그것을 학습시키기 위해서 엄청나게 많은 양의 데이터가 필요하다는 것이다. 그래서 소량의 데이터만으로도 학습이 가능한 방식을 Few-Shot Learning이라 하고, 하나의 데이터만으로도 학습이 가능한 방식을 One-Shot Learning이라고 한다.