NeRF 학습을 위해 알아야 할 자료 정리

NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

논문 :  [2003.08934] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

Githud : GitHub - bmild/nerf: Code release for NeRF (Neural Radiance Fields)

 

NeRF : 신경 방사장

2차원 이미지의 부분적인 세트에서 복잡한 3차원 장면을 재구성할 수 있는 신경망

특정 장면의 장면 지오메트리, 물체 및 각도를 학습한 후 새로운 관점에서 사실적인 3D 뷰를 렌더링하고

자동으로 합성 데이터를 생성하여 허점을 메우는 방식

 

완전히 연결된 신경망 아키텍처인 다층 퍼셉트론(MLP)이라는 신경망 측면을 사용하여 3D 장면을 표현

MLP는 신경망과 딥러닝의 파운데이션 모델로, 공간 좌표와 시야 방향을 색상 및 밀도 값에 매핑하도록 훈련

MLP는 3D 공간에서의 위치 또는 2D 시야 방향과 같은 입력을 구성하는 일련의 수학적 구조를 사용하여,

3D 이미지에서 각 지점의 색상 및 밀도 값을 결정

 

NeRF 이해하기 위한 중요한 개념

1. 카메라 파라미터를 기반으로 픽셀 광선 계산

2. 원점과 방향을 사용하여 단일 광선을 따라 점 샘플링

3. 광선 색상과 알파값의 누적

 

구면 좌표계

확률 분포(Probability Distributions) : 광선에 따른 색상 및 밀도의 학률 분포를 학습하며, 계층적 샘플링(hierarchical sampling)기법에 사용

최적화 이론

광선 추적(Ray Tracing) : 카메라 원점에서 각 픽셀을 통해 3D 공간으로 광선을 쏘는 개념

체적 렌더링(Volumetric Rendering) : 광선을 따라 샘플링된 점들의 색상과 밀도를 누적하여 최종 픽셀 색상을 결정하는 핵심 기술. 복셀 기반의 적분 개념을 포함