2024년 5월 15일 모빌아이 블로그에 올라온 글을 살펴봅니다. 모빌아이 블로그에 인상적인 글이 올라왔습니다. 모빌아이는 세계 최고 수준의 자율주행 기술을 개발하고 있습니다. 인텔의 자회사이며, 이스라엘에 위치합니다. 과거 테슬라의 자율주행 파트너였고, 현재 다수의 완성차 회사와 ADAS, 자율주행 솔루션을 개발하고 있습니다. 과거 자율주행 레벨 1 수준에서도 모빌아이는 세계 최고수준으로 평가받았습니다. 최근 자율주행 회의론과 재고 증가로 주가 폭락을 겪고 있지만 모든 면에서 업계 최고 수준의 회사임은 틀림 없습니다. 모빌아이가 힘들면 다른 회사는 더 힘들다는 뜻이겠죠. 지금이 자율주행의 겨울이라고 생각됩니다. 자율주행의 다층 퍼셉트론격 이론이 등장한다면 그 주인공은 모빌아이가 아닐까요? 업계 최고의 ..
Computer Vision
테슬라 FSD 베타 11.4.9가 업데이트됐다. 이번 업데이트에서 재밌는 점은 대형차량에 의해 발생하는 잠재적 위험과 강풍(측풍)에 대비할 수 있도록 제어하는 알고리즘이 추가됐다는 점이다. 1. 운전자가 세미트럭 추월을 요청한다. 편도 2차로 고속도로, 운전자가 앞서가는 세미트럭을 추월하기 위해 좌측 차로변경을 요청한다. 2. 차량이 좌측 차로변경을 완료한다. FSD가 자동으로 차로변경을 완료하고, 차량은 추월차로를 달린다. 세미트럭은 여전히 전방에 있다. 아직 차량은 차로 내 중앙에 위치하고 있다. 3. 차량이 세미트럭을 추월하기 시작하자, 차량을 좌측 차선으로 바짝 붙인다. 고속도로에서 세미트럭, 버스 등의 대형차량이 옆을 지나갈 때면, 유발되는 강풍에 의해 차체가 흔들리는 경우가 종종 있다. 때문에..
# 모바일에서 수식이 깨져보이니 PC모드 활용을 권장드립니다. Optimization은 ML/DL 이론의 기본 중 하나이다. ML/DL 의 많은 문제는 모델의 좋은 파라미터를 찾는 과정이다. 모델의 좋은 파라미터는 특정 최적화 문제의 솔루션이 되는 경우가 많다. 최적화에는 Constrained, Unconstrained, Convex optimization 등이 존재한다. 우선 Unconstrained optimization 을 살펴보면, 그 목표는 $$ minf(x), \ f(x):\mathbb{R^{n}}\mapsto \mathbb{R}, \ f\in \mathbb{C1} $$ R차원 벡터를 어떤 Singular R로 매핑하는 함수 f에 대해 이 함수 f를 minimization 하는 것이 목표..
# 모바일에서 수식이 깨져보이니 PC모드 활용을 권장드립니다. 들어가며 컴퓨터 비전의 하위 도메인인 3D Reconstruction, Novel-View-Synthesis 을 공부하다보면 Volume Rendering, 혹은 그와 유사한 개념을 자주 접하게 된다. 하지만 렌더링에 사용되는 여러 개념을 혼동하거나 제대로 이해하지 못하는 경우가 많다. 특히 Splatting이 정확히 무엇인지에 대해서는 명쾌하게 답해주는 자료를 찾기 어려웠다. 각 개념을 이해해야 이후 Splatting, Ray Casting, 3D Gaussian splatting, NeRF 등에 잘 대응할 수 있으니 헷갈리는 부분을 짚고 넘어가려 한다. 이 글은 최초의 Splatting method 저자 Lee Alan Westover의..
들어가며... Splatting 이란 무엇인가? 닌텐도에는 '스플래툰' 이라는 3인칭 슈팅 게임이 있습니다.물총으로 잉크를 뿌려 더 많은 면적을 칠한 팀이 우승하는 게임이죠. 캠브리지 사전에 따르면 'Splat'이라는 단어는 '젖은 무언가가 표면에 부딪히는 소리나 액체 표면에 부딪히는 소리' 라는 뜻입니다. 즉 스플래툰 게임처럼 액체가 무언가의 표면에 떨어져 퍼지는 것을 의미합니다. 아래처럼 말이죠. 한편 컴퓨터 그래픽에서 'Splat' 이란 볼륨 렌더링 또는 텍스쳐 매핑과 관련해 3D 포인트를 2D 이미지에 투영할 때 각 포인트가 확장되어 '퍼지는' 것을 의미합니다. 앞선 일반적 의미와 약간은 비슷하죠? 대충 뭔가가 터지고, 퍼지는 것으로 이해됩니다. 여기에 가우시안 분포에서 온 'Gaussian'..
AI, ML, DL의 많은 데이터가 행렬 형태로 표현되므로 AI 연구자, 엔지니어라면 그와 관련된 개념을 꼭 이해해야 한다, 그 중 가장 중요한 개념들인Determinants (행렬식), Trace (대각합), Eigenvalues (고유값), Eigenvector (고유벡터)그리고 그를 이용한 Cholesky Decomposition, Diagonalization, Single Value Decomposition 을 알아보자. 1. Determinant (행렬식) 란 무엇인가?행렬 A가 2*2인 정방행렬 (행의 개수 = 열의 개수인 행렬) 일 때, 행렬 A와 그 역행렬은 다음과 같다.(역행렬의 계산은 컴퓨터에 맡기고 넘어가자.) $$ A = \begin{pmatrix}a_{11} & a_{12} \\..
아카이브 논문 리뷰를 통해 급변하는 컴퓨터 비전 연구 트렌드를 살펴봅니다.2023년 12월 25일. 68개 논문 제출.1. Global Occlusion-Aware Transformer for Robust Stereo MatchingKEYWORDS: Occlusion, Transformer, Stereo matching, NVS, NeRF, GOAT GOAT(Global Occlusion-Aware Transformer를 제안. (또 당신입니까...)Stereo-Matching 시 occlusion 영역, 텍스쳐가 없는 영역에 대한 성능 개선을 목표로 함. 키 아이디어는 같은 물체 경계 내에 있는 disparity는 연속적이어야 한다는 것. 아키텍쳐는 PDO(parallel disparity and o..
아카이브 논문 리뷰를 통해 급변하는 컴퓨터 비전 연구 트렌드를 살펴봅니다.2023년 12월 15일. 160개 논문 제출.1. ZeroRF: Fast Sparse View 360° Reconstruction with Zero PretrainingKEYWORDS: Optimization, NVS, Sparse-Views, Factorized NeRF Sparse-View inputs 상황에서 NeRF의 최적화 문제를 개선하여 빠른 속도로 결과물을 만들 수 있음.키 아이디어는 "맞춤형 Deep Image Prior" 를 인수분해된 NeRF representation에 통합하는 것. TensoRF-VM tensor란? TensoRF는 NeRF의 초기 MLP를 대체하여 특징 볼륨을 선택해 학습 속도를 높이기 위해..
아카이브 논문 리뷰를 통해 급변하는 컴퓨터 비전 연구 트렌드를 살펴봅니다.2023년 11월 10일. 71개 논문 제출.1. Real-Time Neural Rasterization for Large Scenes (ICCV 2023)KEYWORDS: Digital Twin, Simulation, Sensor Simulation Large scenes에 대한 NVS(Novel-View Synthesis) 방법을 제안함. Large Scenes의 NVS 방법은 가상 환경에서의 자율주행 자동차나 드론의 학습을 위해 유용한 데이터를 만들 수 있는데,그간 사용해온 래스터화(Rasterization) 렌더링 방법은 빠른 속도를 자랑하지만 사실감이 부족하다는 평가를 받는다. 하지만 이 논문에서 제안하는 방법은 1. 대..