23.11.10 Daily Computer Vision Paper arXiv

아카이브 논문 리뷰를 통해 급변하는 컴퓨터 비전 연구 트렌드를 살펴봅니다.

2023년 11월 10일. 71개 논문 제출.

---

1.  Real-Time Neural Rasterization for Large Scenes (ICCV 2023)

KEYWORDS: Digital Twin, Simulation, Sensor Simulation

 

Large scenes에 대한 NVS(Novel-View Synthesis) 방법을 제안함.

 

Large Scenes의 NVS 방법은 가상 환경에서의 자율주행 자동차나 드론의 학습을 위해 유용한 데이터를 만들 수 있는데,

그간 사용해온 래스터화(Rasterization) 렌더링 방법은 빠른 속도를 자랑하지만 사실감이 부족하다는 평가를 받는다.

 

하지만 이 논문에서 제안하는 방법은 1. 대규모 씬을 만들 수 있으며 2. 빠른 실시간 렌더링을 제공할 수 있다.

 

또한 이 논문은 Real large scenes에 대한 첫 번째 real-time 렌더링 방법이다.

 

그 결과 1920*1080 (FHD) 해상도에서 100hz로 렌더링할 수 있다고 한다.

 

사실적 렌더링과 <-> 컴퓨팅 효율성 사이에서 최적의 균형을 이루는 방법을 찾았다 할 수 있겠다...

 

이 논문에서 제안하는 방법론은 ...

1. 장면은 mesh와 skybox로 representation된다. (Neural texture representation과 함께)

2. Rasterization을 수행한다. (래스터화란: 3D 장면을 2D 화면에 그리는 과정. 3D 좌표에서 화면의 2D 픽셀로 객체를 변환하는 것을 포함하며, 이 과정에서 객체의 색상, 텍스쳐, 광원 효과 등이 결정됨.) 여기선 feature buffer에 색상, 텍스쳐, 광원이 포함된다고 할 수 있다. 래스터 과정은 openGL을 사용한다고 한다.

3. MLP를 거쳐 색상과 view-direction을 추정. NeRF의 그것과 같은 듯.

4. 그 이후 "MLP is baked as a shader during inference." 된다고 한다. 익숙치 않은 표현이라 찾아보니 baked란 복잡한 계산 과정을 단순화하기 위해 사전 계산된 결과를 저장하는 것을 의미하며 이 경우, MLP의 작동 방식(즉, 특징과 시점 방향으로부터 색상을 예측하는 방식)이 OpenGL 셰이더로 변환되어, 실시간 렌더링 과정에서 직접 사용된다. 즉, 학습된 MLP 모델이 실시간 렌더링 파이프라인에서 사용할 수 있도록 OpenGL 셰이더 코드로 '변환'되는 것.

5. 그리고 여러 MLP가 결합되어 최종 합성 아웃풋 생성.

 

Scene geometry 추정에서 NeRF를 사용해서 좋은 결과를 얻었다, 래스터화는 공부를 좀 해야 할 듯 하다는 생각이 든다.

 

Model Output

 

---

2. Reconstructing Objects in-the-wild for Realistic Sensor Simulation (ICRA 2023)

KEYWORDS: Digital Twin, Sensor Simulation, Simulation

위 논문과 왜 주제나 키워드가 비슷한가 했는데 두 논문의 저자가 겹친다. 교신저자도 같고 1번 논문의 3저자가 이 논문의 1저자다.

 

시뮬레이션 및 디지털 트윈 제작에 필요한 사실적인 object reconstruction 방법을 제안함.

제한된 시점, 먼 거리에서 캡처한 sparse한 데이터를 이용하여 사실적인 렌더링, 다양한 각도에서의 렌더링을 가능하게 한다.

이를 위해 물체 표면을 "Neural signed distance fuction"으로 표현하고 센서와 라이다를 이용해 법선과 사실적인 표면을 재구성함.

이를 통해 풍부한 가상의 asset를 제작할 수 있고, 자율주행 성능 평가에 사용할 수 있는 데이터로 기능할 수 있음.

즉 data generation을 더 잘 할 수 있는 방법을 제안한 논문.

neural signed distance function은 surface normal을 추정하기 위해 사용되는 듯.

 

현실 세계에서 자율주행 평가에 사용될 수 있는 데이터는 제한되므로 더 정확하고 사실적인 시뮬레이터를 제작하는 노력이 계속되고 있는듯.