구글이 이번 CVPR 2022에서 오랄로 발표하는 AI 논문입니다.

https://jonbarron.info/mipnerf360/

NeRF라고 몇 장의 사진만으로 3D reconstruction을 하는 AI 기술이 2020년 3월에 공개가 되었는데요.

(기존의 Structure from Motion 기술을 통해서 3D 재구성을 하는 것과는 좀 다르긴한데, 렌더링 기술이에요.)

NeRF는 기존 방법과는 달리 물리적인 광학 자체를을 AI가 모방하게끔 모델링한다고 생각하시면 돼요. 

빛이 물체로부터 방사되어서 카메라에 어떻게 투시되는가???...

좌표, 방향 기반으로 빛의 투과율, 반사율 이런 성질을 통째로 모델링합니다.

하여튼 지난 2년간 컴퓨터 비전은 NeRF의 시간이라고 해도 과언이 아니었습니다. 

(물론 트랜스포머 비전이 핫하긴 했지만)

초창기 NeRF는 몇 가지 문제가 있었는데요.

1. 학습을 빠르게 할 수 없나?

2. 일반화, 러버스트 모델이 가능한가?

3. 블러리하고 아티팩트가 생기는 저해상도 품질을 더 좋게 못하나?

4. Front Facing (앞에서만 깔딱깔딱 거리는 뷰 포인트)

다방면으로 접근하는 여러 연구들이 계속 나왔고

구글 논문은 360도 사진을 가지고 3D 가상 세계를 만드는 고품질을 보여주네요.

이거말고도 보여드리고 싶은게 많은데 그 중 하나 인상적인거 또 갖고오면

이거는 엔비디아에서 최근에 공개한 Instant-NeRF라는 AI 모델인데요.

그냥 겁나 빠르게 sparse한 사진 몇 장만으로 재구성하는게 목표입니다.

얼마나 가상세계가 실제세계를 따라서 잘 구현되는지 감상해보세요.

3D 쪽이 계산량을 하도 많이 요구하다보니... 전용 하드웨어까지 나오는 추세더군요.