3D 비전: 복셀, 포인트 클라우드, NeRF

사진은 2D 격자 하나면 되지만, 3D 는 담는 꼴부터 고릅니다. 칸으로 나눌지, 점으로 둘지, 삼각형으로 이을지, 함수 하나로 담을지. 먼저 NeRF 가 픽셀 하나의 색을 만드는 계산을 한 표본씩 눌러 보세요.

한 줄 답. 3D 를 담는 꼴에는 복셀(3D 칸), 포인트 클라우드(점 목록), 메시(삼각형 면), 함수(암시적 표현) 등이 있고, 꼴마다 쓰는 신경망이 다릅니다. 복셀은 합성곱을 3D 로 그대로 쓰지만 해상도의 세제곱으로 커집니다. 포인트 클라우드는 점의 순서에 뜻이 없어 순서와 상관없는 연산으로 모읍니다(PointNet). NeRF 는 장면을 함수 하나로 담고, 광선 위 점들의 색을 볼륨 렌더링으로 합쳐 픽셀을 만듭니다.

왼쪽 네모가 픽셀이고, 회색 화살표가 픽셀에서 장면 안으로 나가는 광선입니다. 동그라미는 광선 위의 표본(진할수록 불투명)이고, 주황 화살표는 이번 걸음의 표본이 픽셀에 더하는 몫입니다. 아래 막대의 왼쪽(회색)은 그 표본 앞까지 살아남은 빛 Tᵢ, 오른쪽(표본의 색)은 기여 Tᵢαᵢ 이고, 같은 숫자가 막대 아래 두 줄에 있습니다. 표본의 불투명도와 색은 지어낸 값입니다. 학습한 NeRF 가 낸 값이 아닌 모식도입니다.

해 볼 것. ① 「안개 뒤 벽」에서 「다음」을 끝까지 누르면: 안개 표본 둘이 0.2 와 0.24, 벽(α 0.9)이 0.504 를 더합니다. 벽 뒤의 표본 7 은 α 가 0.7 인데도 살아남은 빛이 0.056 뿐이라 0.039 만 더하고, 끝에 남은 빛은 0.017 입니다. ② 「벽이 맨 앞」은 표본 3(α 0.95)이 0.95 를 가져가고, 뒤의 둘은 0.03 과 0.018 만 더합니다. ③ 「옅은 안개만」은 α 가 모두 0.15 로 같은데도 기여가 0.15, 0.128, … , 0.048 로 줄고 끝에 빛이 0.272 남습니다. 같은 안개도 뒤에 있을수록 덜 보입니다.

1. 3D 를 담는 꼴

사진은 가로 × 세로 격자 하나로 정해져 있습니다. 3D 는 그렇지 않아서 먼저 담는 꼴을 고릅니다.

복셀36 칸 포인트 클라우드22 점 메시꼭짓점 5 · 삼각형 3
같은 집 모양 물체를 세 꼴로 담은 모식도입니다. 보기 쉽게 단면(2D)으로 그렸습니다. 3D 에서는 복셀이 정육면체 칸, 메시의 면이 공간 속 삼각형이 됩니다. 점선은 진짜 겉면입니다. 복셀은 칸 크기만큼 지붕이 계단이 되고, 포인트 클라우드는 겉면 위의 점만 있고 이어져 있지 않으며, 메시는 꼭짓점 5 개와 삼각형 3 개로 겉면을 정확히 잇습니다.
꼴저장하는 것메모리쉬운 것어려운 것
깊이 맵시점 하나의 격자에 거리그림 한 장만큼(가로 × 세로)2D 격자라 2D 합성곱을 그대로 쓴다카메라에 보이는 겉만 담는다. 가려진 뒤쪽은 없다
복셀 격자N × N × N 칸에 값N³. 해상도의 세제곱(2절)이웃 칸이 정해져 있어 3D 합성곱을 그대로 쓴다해상도를 올리기 어렵다. 빈 칸도 자리를 차지한다
포인트 클라우드점 n 개의 (x, y, z)n × 3. 뽑은 점 수만큼바꾸지 않고 바로 받는다. 겉면의 점만 담는다순서와 이웃이 정해져 있지 않아 격자용 합성곱을 바로 못 쓴다(3절)
메시꼭짓점과 삼각형 면꼭짓점 수와 면 수만큼겉면이 이어져 있어 화면에 그리기(렌더링) 좋다꼭짓점 수와 연결이 물체마다 달라 신경망 입력으로 다루기 까다롭다
암시적 표현(NeRF 등)함수 하나(신경망의 가중치)가중치 수만큼. 칸 수와 따로다아무 자리나 물어볼 수 있다(연속)그림 한 장을 그리려면 함수를 아주 많이 불러야 한다(4절)

2. 복셀: 3D 합성곱은 그대로, 메모리는 세제곱

합성곱의 커널(kernel)은 그림 위를 가로·세로로 미끄러지는 작은 가중치 창입니다. 복셀 격자도 같은 격자라서, 커널을 3 × 3 × 3 정육면체로 만들어 가로·세로·깊이로 미끄러뜨리면 됩니다. 이것이 3D 합성곱(3D convolution)이고, 2D 에서 쓰던 커널과 풀링의 생각이 그대로 옮겨 갑니다.

문제는 크기입니다.

칸 수   = N × N × N = N³
메모리  = N³ × (칸 하나의 값 수) × (값 하나의 바이트 수)
N칸 수 N³칸마다 float32 하나
3232,768128 KiB
64262,1441 MiB
1282,097,1528 MiB
25616,777,21664 MiB

한 변을 두 배로 하면 칸은 2³ = 8 배가 됩니다. 위 표는 입력 하나, 값 하나일 때이고, 층을 지나며 채널이 늘면 그만큼 또 곱해집니다. 게다가 물체의 겉면을 지나지 않는 빈 칸도 모두 자리를 차지합니다. PointNet 논문도 포인트 클라우드를 복셀 격자로 바꾸면 자료가 불필요하게 커진다고 적습니다.

3. 포인트 클라우드와 PointNet: 순서를 섞어도 같은 답

포인트 클라우드는 점의 목록입니다. 같은 물체라도 점을 적는 순서는 얼마든지 바뀔 수 있고, 순서에는 뜻이 없습니다. PointNet 논문(Qi 외)에 따르면 포인트 클라우드는 형식이 불규칙해서 그전에는 대부분 복셀 격자나 여러 장의 그림으로 바꿔 다뤘고, 그러면 자료가 불필요하게 커집니다. PointNet 은 포인트 클라우드를 바로 받고, 입력 점의 순열 불변성(permutation invariance), 곧 점의 순서를 바꿔도 답이 같다는 성질을 지킵니다. 그리고 물체 분류, 부품 분할, 장면의 의미 분석(분할)을 한 구조로 합니다.

순서와 상관없게 만드는 생각은 이렇습니다. 점마다 같은 작은 신경망(MLP)을 따로 적용해 특징을 만들고, 그 특징들을 최대 풀링(max pooling), 곧 칸마다 최댓값을 고르는 연산으로 하나로 모읍니다. 최댓값은 어떤 순서로 보든 같으니 결과도 같습니다.

g({p₁, p₂, …, pₙ}) = max( h(p₁), h(p₂), …, h(pₙ) )     (max 는 칸마다)
h(p)               = ReLU(W p + b)                     (이 쪽 실험의 h)

순서점 (x, y)특징 h = (x, y, max(0, y − x))

해 볼 것. ① 처음 순서의 최대 풀링은 (5, 5, 3) 입니다. 세 칸의 최댓값은 서로 다른 점 (5, 3), (4, 5), (1, 4) 에서 옵니다. ② 「섞기」를 한 번 누르면 #1 이 (3, 2) 가 되고, 이어 붙인 줄의 처음이 1, 4, 3 에서 3, 2, 0 으로 바뀝니다. 최대 풀링은 (5, 5, 3) 그대로입니다. ③ 몇 번을 더 섞어도 평면 위의 점과 파랑 이름표는 움직이지 않고 주황 번호만 바뀝니다. 같은 점 모음이니 같은 답이 나와야 하고, 최대 풀링은 그렇게 됩니다. 점 6 개와 층 하나, 특징 셋은 손으로 따라갈 수 있게 작게 줄인 본보기이고, 실제 모델의 h 는 학습한 여러 층입니다.

4. NeRF: 장면을 함수 하나로

NeRF(neural radiance field) 논문(Mildenhall 외)은 장면 하나를 완전 연결 신경망 하나로 담습니다. 이 신경망은 장면을 연속 함수로 나타냅니다. 3D 위치와 보는 방향을 넣으면 그 자리의 부피 밀도(volume density)와, 보는 방향에 따라 달라지는 색을 냅니다.

F(x, d) = (σ, c)

그림 한 장은 이렇게 그립니다.

  1. 픽셀마다 카메라에서 장면 안으로 광선(ray)을 하나 쏩니다.
  2. 광선 위에서 점(표본)을 여러 개 뽑습니다.
  3. 표본마다 F 를 불러 σ 와 c 를 얻습니다.
  4. 고전적인 볼륨 렌더링(volume rendering)으로 표본들의 색과 밀도를 합쳐 픽셀 색 하나를 만듭니다(5절, 실험 ①).

학습. 이 렌더링 계산은 처음부터 끝까지 미분 가능합니다. 그래서 렌더링한 픽셀이 사진의 픽셀과 같아지도록 F 의 가중치를 고칠 수 있고, 필요한 것은 사진 여러 장과 사진마다의 카메라 자세(camera pose), 곧 찍은 위치와 방향뿐입니다. 학습한 뒤에는 사진에 없던 각도에서도 그림을 그릴 수 있고, 이것을 새 시점 합성(novel view synthesis)이라고 합니다.

NeRF 논문은 위치와 방향을 F 에 넣기 전에 사인·코사인 값들로 늘려 넣습니다(위치 인코딩). 이 쪽에서는 그 부분을 다루지 않습니다.

5. 볼륨 렌더링을 손으로

볼륨 렌더링은 원래 광선을 따라 하는 적분입니다. 광선을 표본으로 잘게 나눠 더하면 아래 합이 됩니다. 앞(픽셀 쪽)에서부터 하나씩 쌓아 봅니다.

  1. 표본 하나. 불투명도가 α₁ 이면 그 색이 α₁ 만큼 보입니다: C = α₁c₁. 나머지 빛 1 − α₁ 은 뒤로 지나갑니다.
  2. 표본 둘. 둘째 표본에는 앞에서 살아남은 빛 1 − α₁ 만 닿습니다. 그래서 둘째의 몫은 (1 − α₁)α₂c₂ 입니다.
  3. 표본 i. i 번째에는 앞의 (1 − α) 가 모두 곱해진 만큼만 닿습니다. 이 값을 투과율(transmittance) Tᵢ 라고 부릅니다. 몫은 Tᵢαᵢcᵢ.
  4. 모두 더하기. 몫을 다 더하면 픽셀 색입니다. 몫 Tᵢαᵢ 를 다 더하고 끝까지 남은 빛을 더하면 늘 1 입니다(실험의 세 장면에서 확인).
αᵢ = 1 − exp(−σᵢ δᵢ)
Tᵢ = (1 − α₁)(1 − α₂) … (1 − αᵢ₋₁),    T₁ = 1
C  = T₁α₁c₁ + T₂α₂c₂ + … + T_N α_N c_N

세 표본으로. 빨강 (1, 0, 0) 의 α 0.4, 초록 (0, 1, 0) 의 α 0.5, 파랑 (0, 0, 1) 의 α 1 이 이 순서로 있습니다.

표본αᵢTᵢ기여 Tᵢαᵢ왜
1 빨강0.411 × 0.4 = 0.4맨 앞이라 가린 것이 없다
2 초록0.51 × (1 − 0.4) = 0.60.6 × 0.5 = 0.3빨강이 빛의 0.4 를 막았다
3 파랑10.6 × (1 − 0.5) = 0.30.3 × 1 = 0.3앞의 둘을 지나 0.3 만 남았다

픽셀 색은 C = 0.4·(1, 0, 0) + 0.3·(0, 1, 0) + 0.3·(0, 0, 1) = (0.4, 0.3, 0.3) 입니다. 파랑의 α 가 1 이라 뒤로 남는 빛은 0.3 × (1 − 1) = 0 이고, 기여의 합 0.4 + 0.3 + 0.3 = 1 입니다. 파랑은 혼자 두면 완전히 불투명한데도, 앞의 둘에 가려 픽셀의 0.3 만 차지합니다.

6. 3D 가우시안 스플래팅: 빈 곳을 건너뛰어 실시간

NeRF 는 픽셀마다 광선 위의 모든 표본에서 신경망을 부르고, 그 가운데 많은 표본은 빈 공간에 떨어집니다. 3D 가우시안 스플래팅(3D Gaussian splatting) 논문(Kerbl 외)은 장면을 신경망 대신 3D 가우시안 여러 개로 나타냅니다. 3D 가우시안은 가운데가 진하고 가장자리로 갈수록 옅어지는 흐릿한 타원체 덩어리라고 보면 됩니다. 그리기는 이 덩어리들을 화면에 뿌리듯 찍어서(splatting) 합니다.

7. 언제 무엇을 쓰나

선택지좋은 점나쁜 점쓰는 경우
깊이 맵 + 2D 합성곱그림과 같은 2D 격자라 2D 신경망을 그대로 쓴다한 시점에서 보이는 겉만 있다카메라 한 대에서 본 거리만 있으면 될 때
복셀 + 3D 합성곱2D 합성곱의 생각을 그대로 늘린다해상도의 세제곱으로 커진다. 빈 칸도 자리를 차지한다낮은 해상도로도 되는 일
포인트 클라우드 + PointNet바꾸지 않고 점을 바로 받는다. 분류·부품 분할·장면 의미 분석을 한 구조로이 쪽의 단순한 꼴(점마다 따로 → 최대 풀링)에는 가까운 점끼리 묶어 보는 단계가 없다스캐너처럼 점으로 받은 자료를 분류하거나 나눌 때
NeRF카메라 자세를 아는 사진만으로 학습해 새 시점을 그린다픽셀마다 표본마다 신경망을 불러 그리는 계산이 많다여러 각도의 사진으로 장면을 다른 각도에서 보고 싶을 때
3D 가우시안 스플래팅빈 공간의 계산을 피해 1080p 에서 실시간카메라 보정에서 나온 점이 있어야 시작한다새 시점을 실시간으로 그려야 할 때

자주 묻는 것

NeRF 와 3D 가우시안 스플래팅은 무엇이 다른가요?

NeRF 는 장면을 신경망 함수 하나로 담고, 픽셀마다 광선 위의 점들에서 그 함수를 불러 볼륨 렌더링으로 색을 합칩니다. 3D 가우시안 스플래팅은 장면을 3D 가우시안 여러 개로 담고 화면에 뿌려 그립니다. 빈 공간의 불필요한 계산을 피해서, 논문은 1080p 에서 초당 30 장 이상의 실시간 새 시점 합성을 보고합니다.

포인트 클라우드를 순서대로 이어 붙여 신경망에 넣으면 안 되나요?

점의 순서에는 뜻이 없는데, 이어 붙이면 같은 점 모음이 순서마다 다른 입력이 됩니다. 실험 ② 에서 섞을 때마다 이어 붙인 줄이 달라지는 것을 볼 수 있습니다. 그래서 점마다 같은 층을 쓴 뒤 최대 풀링처럼 순서와 상관없는 연산으로 모읍니다.

복셀은 왜 해상도를 마음껏 올리지 못하나요?

칸 수가 해상도의 세제곱이라서입니다. 한 변을 두 배로 하면 칸은 8 배가 됩니다. 128³ 은 2,097,152 칸이고, 칸마다 float32 값 하나만 둬도 8 MiB 입니다. 256³ 이면 64 MiB 입니다. 물체의 겉면이 아닌 빈 칸도 모두 자리를 차지합니다.

낱말

여기서 쓴 말책에서 부르는 말
칸마다 거리를 적은 그림깊이 맵(depth map)
3D 픽셀 · 3D 칸의 격자복셀(voxel) · 복셀 격자(voxel grid)
점 목록포인트 클라우드(point cloud)
꼭짓점과 삼각형 면메시(mesh), 정점(vertex), 면(face)
함수로 담기암시적 표현(implicit representation)
정육면체 커널로 미끄러뜨리기3D 합성곱(3D convolution)
순서를 바꿔도 같은 답순열 불변성(permutation invariance)
모든 점에 같은 층공유 MLP(shared MLP), 다층 퍼셉트론(multilayer perceptron)
칸마다 최댓값 고르기최대 풀링(max pooling)
장면을 담은 신경망신경 방사장(neural radiance field, NeRF)
광선 위의 색 합치기볼륨 렌더링(volume rendering)
빽빽한 정도 · 빛을 막는 정도부피 밀도(volume density) · 불투명도(opacity, 알파)
살아남은 빛투과율(transmittance)
찍은 위치와 방향카메라 자세(camera pose)
새 각도에서 그리기새 시점 합성(novel view synthesis)
3D 덩어리를 뿌려 그리기3D 가우시안 스플래팅(3D Gaussian splatting)
방향마다 퍼진 정도가 다른 모양이방성 공분산(anisotropic covariance)

출처

← 확산 모델정합: 강체에서 비강체까지 →