전체 글 (85) 썸네일형 리스트형 CNN https://seoilgun.medium.com/cnn%EC%9D%98-stationarity%EC%99%80-locality-610166700979 CNN과 이미지가 찰떡궁합인 이유 딥러닝이 뜨고 지금까지 가장 활약한 모델 중 하나는 CNN이다. 대부분의 사람들이 아무런 의심없이 이미지 데이터를 다룰때는 CNN을 사용한다. 그렇다면 도데체 왜 CNN은 이미지 데이터를 잘 처리 seoilgun.medium.com gan -> low freq 정보 살리는 쪽으로 (blur 현상) but real-world noise가 많으면 그것들이 상대적으로 high freq라서 그것들이 사라지고 texture, edge detail과 같은 상대적 low freq가 살아날 가능성있음 -> Real-world SR 프로.. Channel Attention & Spatial Attention Channel attention into our block as it captures the global information and it is computationally efficient. 신경망(Neural Net), 퍼셉트론(Perceptron), 소프트맥스(Softmax) 레이어, 크로스 엔트로피(Cross-entropy) 함수, 신경망의 학습과정 신경세포의 동작 과정 신경세포(뉴런) 하나는 다른 것들과 연결되어있고, 다른 신경세포들로부터 전기 신호를 입력으로 받음. 다른 신경세포들로부터 받은 전기 신호를 신경세포 하나에서는 특정한 값을 곱해서 나름의 변환된 전기 신호를 또 만들어냄. 그래서 만들어진 전기 신호를 해당 뉴런 혹은 신경세포가 연결되어있는 다른 신경세포들에게 전달해주는 방식으로 동작함. 그러한 과정을 수학적으로 잘 모델링하면, 입력 신호를 제공해주는 신경세포로부터 받은 입력값을 x1~xn까지의 여러 값으로 정의하게 되고, 여기에 해당 신경세포는 특정 가중치를 곱해서 그걸 다 더하고, 여기에 특정 상수까지 더한 1차 선형결합식으로 새로운 신호 만들어냄. 거기에다가 최종 활성함수까지 통과해서 최종 아웃풋 만듦. 그렇게 만들어진 신호는 다른.. [논문 리뷰] Super Resolution - RFDN (ECCVW 2020) RFDN은 다음과 같이 한 문장으로 말할 수 있겠습니다. "feature distillation connection (FDC) 이라는 기술을 제안해서 residual feature distillation을 하는 모델 RFDN을 만들었다. RFDN은 multiple feature distillation connection을 이용해서 구별점이 나타나는 (즉, 특이한) feature representation들을 학습할 수 있다. 그리고 RFDN의 메인 블록인 shallow residual block (SRB) 을 사용함으로써 가벼운 모델 용량을 유지함과 동시에 residual learning의 장점까지 얻을 수 있다." ~ Residual Feature Distillation Network for Light.. [논문 리뷰] CNN - RepVGG (CVPR 2021) RepVGG는 올해 나온 논문 중 제가 가장 처음으로 읽어본 논문입니다. 7월 중순 쯤에 무슨 논문을 읽어볼까 고민하던 중, 미국 트럼프 대통령의 "Make America Great Again"이라는 선전 문구를 패러디한 제목이 인상깊어 읽게 되었습니다. 제목으로 인한 어그로(?) 덕분에 읽기 시작했지만, 지금은 이 논문에서 중요하게 다루는 re-parameterization에 대해 깊이 매료되었습니다. 앞으로는 해당 기법을 활용해 연구도 하고 싶습니다. RepVGG는 다음과 같이 한 문장으로 말할 수 있겠습니다. "훈련(train) 때는 3x3, 1x1, Identity convolution으로 이루어진 multi-branch 모델을 사용하되, 추론(inference) 때는 re-parameteriza.. 딥러닝에서 -wise의 뜻 딥러닝 관련 논문이나 글을 읽다보면 -wise라는 용어가 많이 나오는데, 나올 때마다 헷갈려서 한번 정리해봤습니다. ~wise : ~별로 따로따로 나눠서 뭔가를 수행한다. ~에 따라 뭔가를 수행한다. depthwise convolution: feature map 뭉치를 채널 별로 따로따로 나눠서 각각을 특정 커널에 통과시킨다. (MobileNet V1) channel wise concatenation: 여러 feature map 뭉치를 채널에 따라 feature map을 쌓는다. (일반 딥러닝 concat) pointwise convolution: feature map의 픽셀 포인트별로 따로따로 나눠서 각각을 특정 커널에 통과시킨다. (즉, 1x1 커널에 통과시킨다.) (MobileNet V1) spat.. [논문 리뷰] Super Resolution - MSRN (ECCV 2018) MSRN은 다음과 같이 한 문장으로 말할 수 있겠습니다. "MSRB라는 블록을 이용해 서로 다른 사이즈의 feature들을 효과적으로 사용하였으며, hierarchical feature fusion을 이용해 LR 이미지의 특징 하나하나를 최대한 사용하였다. 이를 통해 비슷한 시기에 나온 EDSR 보다 성능은 조금 떨어지지만 훨씬 가벼운 모델인 MSRN을 만들었다" ~ Multi-scale Residual Network for Image Super-Resolution ~ # 1. Introduction single-image super-resolution(SISR)은 학계와 산업계에서 많은 관심을 끌고 있습니다. SISR은 LR 이미지로부터 HR 이미지를 reconstruct하는 ill-posed된 문제입.. [논문 리뷰] Super Resolution - ESPCN (CVPR 2016) ESPCN은 다음과 같이 한 문장으로 말할 수 있겠습니다. "기존 SR 기법들처럼 모델의 첫 부분 혹은 전처리 부분에서 LR 이미지를 upsampling 하는 것이 아니라, efficient sub-pixel convolution layer를 사용해 모델의 끝에서 upsampling함으로써 모델의 연산량과 파라미터 수를 줄이고 성능도 높인 모델이다." ~ Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network ~ # 1. Introduction SR(Super resolution, 초해상화)은 기본적으로 LR(Low Resolution, 저해상도) 이미지가 HR(Hig.. 이전 1 2 3 4 ··· 11 다음
