[논문 리뷰] CNN - Attention (ECCV 2018)

이번 방학부터 대학원생 동기, 선배 2명과 함께 논문구현 스터디를 시작했습니다. 저는 논문을 읽고 요약 및 설명하는 역할을 맡았고 나머지 두 명은 각각 keras와 pytorch로 코드를 구현하는 역할을 맡았습니다. 블로그에 올라오는 글들은 원 논문 및 논문 관련 설명들을 참고하여 작성한 것입니다. 코드는 게시물 하단에 적어놓은 제 깃허브에 공유했습니다. 참고하시면 좋을 것 같습니다. 설명과 코드에 틀린 부분이 있을 수 있습니다. 정중하게 지적해주시면 참고하겠습니다.

---

원 논문1: https://arxiv.org/abs/1807.06514

원 논문2: https://arxiv.org/abs/1807.06521

 

CNN에서의 Attention은 다음과 같이 한 마디로 정리할 수 있겠습니다.

 

"자연어 처리에선 Attention 기법이 많이 연구되었고 널리 쓰이고 있다. 그렇다면 이미지에서도 이미지에 따라 봐야할 부분을 달리해서 가중치를 더 준다면 이미지 분류나 이미지 감지에서 더 좋은 성능을 줄 수 있지 않을까? 이 attention 기능을 해주는 모듈이 바로 BAM, CBAM이다."

 

구현 코드:

https://github.com/jhcha08/DeeplearningPaperCode/blob/master/%EC%8A%A4%ED%84%B0%EB%94%94%2020200226%20-%20CNN.%20Attention%20in%20CNN%20(BAM).ipynb

 

저자 코드:

https://github.com/Jongchan/attention-module/blob/master/MODELS/bam.py

 

또 다른 참고 코드:

https://github.com/asdf2kr/BAM-CBAM-pytorch/blob/master/Models/attention.py

 

참고 사이트:

https://blog.lunit.io/2018/08/30/bam-and-cbam-self-attention-modules-for-cnn/

https://norman3.github.io/papers/docs/bam_and_cbam.html

https://hipgyung.tistory.com/14