딥러닝 & 머신러닝/논문 리뷰 (22) 썸네일형 리스트형 [논문 리뷰] 3D Gaussian Splatting for Real-Time Radiance Field Rendering 이번 포스팅에선 Novel-view synthesis task에서 획기적 방법을 제시한 3D Gaussian Splatting (3DGS) 에 대해 리뷰하겠습니다.3D Scene Reconstruction 3D Scene Reconstruction은 여러 각도에서 촬영한 2D 이미지를 기반으로 장면의 3D 구조를 재구성하는 기술입니다. 이를 통해 장면의 깊이, 기하학적 관계, 표면 구조 등을 포함한 3D 모델을 생성하여 컴퓨터가 더 잘 이해하고 처리할 수 있도록 합니다. 이러한 기술은 3D 모델링, SLAM, AR & VR, 자율주행과 같은 다양한 분야에서 중요한 역할을 합니다. 3D Scene Reconstruction은 딥러닝 등장 이전부터 연구되어 온 분야입니다. 초기에는 컴퓨터 비전 알고리즘을 활.. [논문 리뷰] Descanning: From Scanned to the Original Images with a Color Correction Diffusion Model 이번 게시물에선 제가 석사과정 동안 진행했던 "Descanning" 연구에 대해 소개합니다.해당 연구는 AAAI 2024에 채택되었으며, 현재 이를 확장하여 저널 제출을 준비 중입니다. 이 논문은 약 1년 반 동안 실험, 분석, 작성의 과정을 거쳤습니다. 그 과정에서 논문 내용이 대대적으로 수정되기도 하고, 수차례 밤샘 작업, 그리고 3번의 Reject을 겪기도 했습니다. 그러나 끝내 AAAI 2024 게재라는 결실을 맺게 되어 매우 기쁩니다. 현재 소스 코드는 깃허브에 정리되어 있으며, 데이터셋과 모델 가중치 파일은 저널 게재가 승인된 이후 공개할 예정입니다. 많은 관심 부탁드립니다. 감사합니다!깃허브: https://github.com/jhcha08/DescanningAbstract많은 양의 아날로그.. [논문 리뷰] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis 이번 포스팅에서는 "NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis" 논문을 리뷰하겠습니다. ECCV 2020의 best paper로 선정된 바 있으며, 이후 하나의 분야 자체가 되어, 3D rendering의 역사에 큰 획을 그어 나가는 중입니다. 현재는 기존 NeRF의 문제점을 고쳐나가거나, NeRF를 응용하는 논문이 많이 나오고 있습니다.개요 NeRF는 3D 장면을 생성하고 렌더링하기 위한 딥러닝 기반의 컴퓨터 비전 기술입니다. 여기서 NeRF의 풀네임은 Neural Radiance Fields 인데요. 직역하면 '신경 복사장'이라는 이해할 수 없는 단어가 나옵니다. 그냥 특정 위치 (물체의 위치 정보와 물체를 바라보는.. [논문 리뷰] Super Resolution - RFDN (ECCVW 2020) RFDN은 다음과 같이 한 문장으로 말할 수 있겠습니다. "feature distillation connection (FDC) 이라는 기술을 제안해서 residual feature distillation을 하는 모델 RFDN을 만들었다. RFDN은 multiple feature distillation connection을 이용해서 구별점이 나타나는 (즉, 특이한) feature representation들을 학습할 수 있다. 그리고 RFDN의 메인 블록인 shallow residual block (SRB) 을 사용함으로써 가벼운 모델 용량을 유지함과 동시에 residual learning의 장점까지 얻을 수 있다." ~ Residual Feature Distillation Network for Light.. [논문 리뷰] CNN - RepVGG (CVPR 2021) RepVGG는 올해 나온 논문 중 제가 가장 처음으로 읽어본 논문입니다. 7월 중순 쯤에 무슨 논문을 읽어볼까 고민하던 중, 미국 트럼프 대통령의 "Make America Great Again"이라는 선전 문구를 패러디한 제목이 인상깊어 읽게 되었습니다. 제목으로 인한 어그로(?) 덕분에 읽기 시작했지만, 지금은 이 논문에서 중요하게 다루는 re-parameterization에 대해 깊이 매료되었습니다. 앞으로는 해당 기법을 활용해 연구도 하고 싶습니다. RepVGG는 다음과 같이 한 문장으로 말할 수 있겠습니다. "훈련(train) 때는 3x3, 1x1, Identity convolution으로 이루어진 multi-branch 모델을 사용하되, 추론(inference) 때는 re-parameteriza.. [논문 리뷰] Super Resolution - MSRN (ECCV 2018) MSRN은 다음과 같이 한 문장으로 말할 수 있겠습니다. "MSRB라는 블록을 이용해 서로 다른 사이즈의 feature들을 효과적으로 사용하였으며, hierarchical feature fusion을 이용해 LR 이미지의 특징 하나하나를 최대한 사용하였다. 이를 통해 비슷한 시기에 나온 EDSR 보다 성능은 조금 떨어지지만 훨씬 가벼운 모델인 MSRN을 만들었다" ~ Multi-scale Residual Network for Image Super-Resolution ~ # 1. Introduction single-image super-resolution(SISR)은 학계와 산업계에서 많은 관심을 끌고 있습니다. SISR은 LR 이미지로부터 HR 이미지를 reconstruct하는 ill-posed된 문제입.. [논문 리뷰] Super Resolution - ESPCN (CVPR 2016) ESPCN은 다음과 같이 한 문장으로 말할 수 있겠습니다. "기존 SR 기법들처럼 모델의 첫 부분 혹은 전처리 부분에서 LR 이미지를 upsampling 하는 것이 아니라, efficient sub-pixel convolution layer를 사용해 모델의 끝에서 upsampling함으로써 모델의 연산량과 파라미터 수를 줄이고 성능도 높인 모델이다." ~ Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network ~ # 1. Introduction SR(Super resolution, 초해상화)은 기본적으로 LR(Low Resolution, 저해상도) 이미지가 HR(Hig.. [논문 리뷰] Super Resolution - VDSR (CVPR 2016) VDSR은 다음과 같이 한 문장으로 말할 수 있겠습니다. "깊은 CNN 구조, residual learning, 높은 학습률, 여러 scale factor에 대한 훈련을 통해 기존 SR 기술들보다 속도와 성능 면에서 훨씬 월등함을 보여준 모델이다." ~ Accurate Image Super-Resolution Using Very Deep Convolutional Networks ~ # 1. Introduction 처음에는 SISR(single image super-resolution), 즉 단일 이미지 초해상화를 위해 기존에 쓰였던 방법들을 간단히 언급합니다. 그리고 SRCNN에 대해서 더 자세히 얘기합니다. SRCNN에서 쓰인 CNN은 LR(Low Resolution, 저해상도 이미지)를 HR(High.. 이전 1 2 3 다음
