반응형
딥러닝 관련 논문이나 글을 읽다보면 -wise라는 용어가 많이 나오는데, 나올 때마다 헷갈려서 한번 정리해봤습니다.
~wise : ~별로 따로따로 나눠서 뭔가를 수행한다. ~에 따라 뭔가를 수행한다.
depthwise convolution: feature map 뭉치를 채널 별로 따로따로 나눠서 각각을 특정 커널에 통과시킨다. (MobileNet V1)
channel wise concatenation: 여러 feature map 뭉치를 채널에 따라 feature map을 쌓는다. (일반 딥러닝 concat)
pointwise convolution: feature map의 픽셀 포인트별로 따로따로 나눠서 각각을 특정 커널에 통과시킨다. (즉, 1x1 커널에 통과시킨다.) (MobileNet V1)
spatial wise attention: feature map 뭉치를 하나하나 떼서, 즉 공간 별로 따로따로 나눠서 각각에 대한 attention을 계산한다. (BAM: 여기에 channel wise attention에 대한 이야기도 있음)
반응형
'딥러닝 & 머신러닝 > 딥러닝 지식' 카테고리의 다른 글
| 딥러닝 모델 훈련의 어려움과 이를 타개하기 위한 방법들 (2) | 2024.09.23 |
|---|---|
| 신경망(Neural Net), 퍼셉트론(Perceptron), 소프트맥스(Softmax) 레이어, 크로스 엔트로피(Cross-entropy) 함수, 신경망의 학습과정 (0) | 2023.01.29 |
| 손실 함수 최적화에서 모멘텀(Momentum)의 필요성 (0) | 2020.12.20 |
| GAP (Global Average Pooling) : 전역 평균 풀링 (2) | 2020.12.20 |
| 가중치(weight), 편향(bias), 활성화 함수(activation function) 한 마디로 (0) | 2020.11.26 |
