3D 비전: 복셀, 포인트 클라우드, NeRF
사진은 2D 격자 하나면 되지만, 3D 는 담는 꼴부터 고릅니다. 칸으로 나눌지, 점으로 둘지, 삼각형으로 이을지, 함수 하나로 담을지. 먼저 NeRF 가 픽셀 하나의 색을 만드는 계산을 한 표본씩 눌러 보세요.
한 줄 답. 3D 를 담는 꼴에는 복셀(3D 칸), 포인트 클라우드(점 목록), 메시(삼각형 면), 함수(암시적 표현) 등이 있고, 꼴마다 쓰는 신경망이 다릅니다. 복셀은 합성곱을 3D 로 그대로 쓰지만 해상도의 세제곱으로 커집니다. 포인트 클라우드는 점의 순서에 뜻이 없어 순서와 상관없는 연산으로 모읍니다(PointNet). NeRF 는 장면을 함수 하나로 담고, 광선 위 점들의 색을 볼륨 렌더링으로 합쳐 픽셀을 만듭니다.
왼쪽 네모가 픽셀이고, 회색 화살표가 픽셀에서 장면 안으로 나가는 광선입니다. 동그라미는 광선 위의 표본(진할수록 불투명)이고, 주황 화살표는 이번 걸음의 표본이 픽셀에 더하는 몫입니다. 아래 막대의 왼쪽(회색)은 그 표본 앞까지 살아남은 빛 Tᵢ, 오른쪽(표본의 색)은 기여 Tᵢαᵢ 이고, 같은 숫자가 막대 아래 두 줄에 있습니다. 표본의 불투명도와 색은 지어낸 값입니다. 학습한 NeRF 가 낸 값이 아닌 모식도입니다.
해 볼 것. ① 「안개 뒤 벽」에서 「다음」을 끝까지 누르면: 안개 표본 둘이 0.2 와 0.24, 벽(α 0.9)이 0.504 를 더합니다. 벽 뒤의 표본 7 은 α 가 0.7 인데도 살아남은 빛이 0.056 뿐이라 0.039 만 더하고, 끝에 남은 빛은 0.017 입니다. ② 「벽이 맨 앞」은 표본 3(α 0.95)이 0.95 를 가져가고, 뒤의 둘은 0.03 과 0.018 만 더합니다. ③ 「옅은 안개만」은 α 가 모두 0.15 로 같은데도 기여가 0.15, 0.128, … , 0.048 로 줄고 끝에 빛이 0.272 남습니다. 같은 안개도 뒤에 있을수록 덜 보입니다.
1. 3D 를 담는 꼴
사진은 가로 × 세로 격자 하나로 정해져 있습니다. 3D 는 그렇지 않아서 먼저 담는 꼴을 고릅니다.
- 깊이 맵(depth map): 사진처럼 2D 격자인데, 칸마다 색 대신 카메라에서 그 자리까지의 거리를 적은 것입니다.
- 복셀(voxel): 3D 픽셀입니다. 공간을 같은 크기의 정육면체 칸으로 나누고 칸마다 「찼다·비었다」 같은 값을 적은 격자(복셀 격자)입니다.
- 포인트 클라우드(point cloud): 물체 겉면에서 뽑은 점 (x, y, z) 의 목록입니다. 점 사이의 연결은 없습니다.
- 메시(mesh): 꼭짓점(정점, vertex)과 꼭짓점 셋을 이은 삼각형 면(face)의 목록입니다. 겉면이 이어져 있습니다.
- 암시적 표현(implicit representation): 칸이나 점을 저장하지 않고, 「이 자리에 무엇이 있나」에 답하는 함수를 저장합니다. NeRF 는 그 함수가 신경망입니다.
| 꼴 | 저장하는 것 | 메모리 | 쉬운 것 | 어려운 것 |
|---|---|---|---|---|
| 깊이 맵 | 시점 하나의 격자에 거리 | 그림 한 장만큼(가로 × 세로) | 2D 격자라 2D 합성곱을 그대로 쓴다 | 카메라에 보이는 겉만 담는다. 가려진 뒤쪽은 없다 |
| 복셀 격자 | N × N × N 칸에 값 | N³. 해상도의 세제곱(2절) | 이웃 칸이 정해져 있어 3D 합성곱을 그대로 쓴다 | 해상도를 올리기 어렵다. 빈 칸도 자리를 차지한다 |
| 포인트 클라우드 | 점 n 개의 (x, y, z) | n × 3. 뽑은 점 수만큼 | 바꾸지 않고 바로 받는다. 겉면의 점만 담는다 | 순서와 이웃이 정해져 있지 않아 격자용 합성곱을 바로 못 쓴다(3절) |
| 메시 | 꼭짓점과 삼각형 면 | 꼭짓점 수와 면 수만큼 | 겉면이 이어져 있어 화면에 그리기(렌더링) 좋다 | 꼭짓점 수와 연결이 물체마다 달라 신경망 입력으로 다루기 까다롭다 |
| 암시적 표현(NeRF 등) | 함수 하나(신경망의 가중치) | 가중치 수만큼. 칸 수와 따로다 | 아무 자리나 물어볼 수 있다(연속) | 그림 한 장을 그리려면 함수를 아주 많이 불러야 한다(4절) |
2. 복셀: 3D 합성곱은 그대로, 메모리는 세제곱
합성곱의 커널(kernel)은 그림 위를 가로·세로로 미끄러지는 작은 가중치 창입니다. 복셀 격자도 같은 격자라서, 커널을 3 × 3 × 3 정육면체로 만들어 가로·세로·깊이로 미끄러뜨리면 됩니다. 이것이 3D 합성곱(3D convolution)이고, 2D 에서 쓰던 커널과 풀링의 생각이 그대로 옮겨 갑니다.
문제는 크기입니다.
칸 수 = N × N × N = N³
메모리 = N³ × (칸 하나의 값 수) × (값 하나의 바이트 수)
N: 한 변의 칸 수(해상도).칸 하나의 값 수: 칸마다 적는 숫자의 수. 합성곱 층을 지나면 채널 수가 됩니다.값 하나의 바이트 수: float32 면 4 바이트.
| N | 칸 수 N³ | 칸마다 float32 하나 |
|---|---|---|
| 32 | 32,768 | 128 KiB |
| 64 | 262,144 | 1 MiB |
| 128 | 2,097,152 | 8 MiB |
| 256 | 16,777,216 | 64 MiB |
한 변을 두 배로 하면 칸은 2³ = 8 배가 됩니다. 위 표는 입력 하나, 값 하나일 때이고, 층을 지나며 채널이 늘면 그만큼 또 곱해집니다. 게다가 물체의 겉면을 지나지 않는 빈 칸도 모두 자리를 차지합니다. PointNet 논문도 포인트 클라우드를 복셀 격자로 바꾸면 자료가 불필요하게 커진다고 적습니다.
3. 포인트 클라우드와 PointNet: 순서를 섞어도 같은 답
포인트 클라우드는 점의 목록입니다. 같은 물체라도 점을 적는 순서는 얼마든지 바뀔 수 있고, 순서에는 뜻이 없습니다. PointNet 논문(Qi 외)에 따르면 포인트 클라우드는 형식이 불규칙해서 그전에는 대부분 복셀 격자나 여러 장의 그림으로 바꿔 다뤘고, 그러면 자료가 불필요하게 커집니다. PointNet 은 포인트 클라우드를 바로 받고, 입력 점의 순열 불변성(permutation invariance), 곧 점의 순서를 바꿔도 답이 같다는 성질을 지킵니다. 그리고 물체 분류, 부품 분할, 장면의 의미 분석(분할)을 한 구조로 합니다.
순서와 상관없게 만드는 생각은 이렇습니다. 점마다 같은 작은 신경망(MLP)을 따로 적용해 특징을 만들고, 그 특징들을 최대 풀링(max pooling), 곧 칸마다 최댓값을 고르는 연산으로 하나로 모읍니다. 최댓값은 어떤 순서로 보든 같으니 결과도 같습니다.
g({p₁, p₂, …, pₙ}) = max( h(p₁), h(p₂), …, h(pₙ) ) (max 는 칸마다)
h(p) = ReLU(W p + b) (이 쪽 실험의 h)
pᵢ: i 번째 점의 좌표. 실험에서는 (x, y) 두 수입니다.n: 점의 수.h: 모든 점에 똑같이 쓰는 층(공유 MLP). 점 하나를 받아 특징 벡터 하나를 냅니다.W,b: 그 층의 가중치 행렬과 편향.W p는 선형변환입니다. 실험에서는 W = [[1, 0], [0, 1], [−1, 1]], b = 0 이라 특징이 (x, y, max(0, y − x)) 입니다.ReLU: 음수를 0 으로 바꾸는 활성화 함수.max: 특징 벡터들의 칸마다 최댓값. 결과도 같은 길이의 벡터입니다.g: 점 모음 전체를 나타내는 벡터. 그 위에 분류기를 얹습니다.
| 순서 | 점 (x, y) | 특징 h = (x, y, max(0, y − x)) |
|---|
해 볼 것. ① 처음 순서의 최대 풀링은 (5, 5, 3) 입니다. 세 칸의 최댓값은 서로 다른 점 (5, 3), (4, 5), (1, 4) 에서 옵니다. ② 「섞기」를 한 번 누르면 #1 이 (3, 2) 가 되고, 이어 붙인 줄의 처음이 1, 4, 3 에서 3, 2, 0 으로 바뀝니다. 최대 풀링은 (5, 5, 3) 그대로입니다. ③ 몇 번을 더 섞어도 평면 위의 점과 파랑 이름표는 움직이지 않고 주황 번호만 바뀝니다. 같은 점 모음이니 같은 답이 나와야 하고, 최대 풀링은 그렇게 됩니다. 점 6 개와 층 하나, 특징 셋은 손으로 따라갈 수 있게 작게 줄인 본보기이고, 실제 모델의 h 는 학습한 여러 층입니다.
4. NeRF: 장면을 함수 하나로
NeRF(neural radiance field) 논문(Mildenhall 외)은 장면 하나를 완전 연결 신경망 하나로 담습니다. 이 신경망은 장면을 연속 함수로 나타냅니다. 3D 위치와 보는 방향을 넣으면 그 자리의 부피 밀도(volume density)와, 보는 방향에 따라 달라지는 색을 냅니다.
F(x, d) = (σ, c)
F: 장면을 담은 신경망(완전 연결 신경망). 장면 하나에 하나를 학습합니다.x: 공간 속 위치 (x, y, z).d: 그 자리를 보는 방향. 같은 자리도 보는 방향에 따라 색이 다를 수 있습니다.σ(시그마): 부피 밀도. 그 자리에 빛을 막는 것이 얼마나 빽빽한가. 0 이면 빈 곳입니다.c: 그 자리에서 그 방향으로 보이는 색 (r, g, b).
그림 한 장은 이렇게 그립니다.
- 픽셀마다 카메라에서 장면 안으로 광선(ray)을 하나 쏩니다.
- 광선 위에서 점(표본)을 여러 개 뽑습니다.
- 표본마다 F 를 불러 σ 와 c 를 얻습니다.
- 고전적인 볼륨 렌더링(volume rendering)으로 표본들의 색과 밀도를 합쳐 픽셀 색 하나를 만듭니다(5절, 실험 ①).
학습. 이 렌더링 계산은 처음부터 끝까지 미분 가능합니다. 그래서 렌더링한 픽셀이 사진의 픽셀과 같아지도록 F 의 가중치를 고칠 수 있고, 필요한 것은 사진 여러 장과 사진마다의 카메라 자세(camera pose), 곧 찍은 위치와 방향뿐입니다. 학습한 뒤에는 사진에 없던 각도에서도 그림을 그릴 수 있고, 이것을 새 시점 합성(novel view synthesis)이라고 합니다.
NeRF 논문은 위치와 방향을 F 에 넣기 전에 사인·코사인 값들로 늘려 넣습니다(위치 인코딩). 이 쪽에서는 그 부분을 다루지 않습니다.
5. 볼륨 렌더링을 손으로
볼륨 렌더링은 원래 광선을 따라 하는 적분입니다. 광선을 표본으로 잘게 나눠 더하면 아래 합이 됩니다. 앞(픽셀 쪽)에서부터 하나씩 쌓아 봅니다.
- 표본 하나. 불투명도가 α₁ 이면 그 색이 α₁ 만큼 보입니다:
C = α₁c₁. 나머지 빛 1 − α₁ 은 뒤로 지나갑니다. - 표본 둘. 둘째 표본에는 앞에서 살아남은 빛 1 − α₁ 만 닿습니다. 그래서 둘째의 몫은
(1 − α₁)α₂c₂입니다. - 표본 i. i 번째에는 앞의 (1 − α) 가 모두 곱해진 만큼만 닿습니다. 이 값을 투과율(transmittance) Tᵢ 라고 부릅니다. 몫은
Tᵢαᵢcᵢ. - 모두 더하기. 몫을 다 더하면 픽셀 색입니다. 몫 Tᵢαᵢ 를 다 더하고 끝까지 남은 빛을 더하면 늘 1 입니다(실험의 세 장면에서 확인).
αᵢ = 1 − exp(−σᵢ δᵢ)
Tᵢ = (1 − α₁)(1 − α₂) … (1 − αᵢ₋₁), T₁ = 1
C = T₁α₁c₁ + T₂α₂c₂ + … + T_N α_N c_N
i: 표본의 번호. 픽셀에 가까운 것이 1 입니다.N: 광선 하나에서 뽑은 표본의 수. 실험은 8.σᵢ: 표본 i 의 부피 밀도(NeRF 의 F 가 내는 값).δᵢ(델타): 표본 i 에서 다음 표본까지의 거리.αᵢ(알파): 표본 i 의 불투명도. 0 이면 투명, 1 이면 빛을 다 막습니다. 밀도가 크거나 구간이 길수록 1 에 가까워집니다. 실험 ① 은 σ 와 δ 없이 α 를 바로 정해 두었습니다.Tᵢ: 투과율. 앞의 표본 1 ~ i − 1 을 모두 지나 표본 i 까지 살아남은 빛.cᵢ: 표본 i 의 색 (r, g, b).Tᵢαᵢ: 표본 i 의 기여(가중치). 픽셀 색에서 표본 i 가 차지하는 몫.C: 픽셀 색.
세 표본으로. 빨강 (1, 0, 0) 의 α 0.4, 초록 (0, 1, 0) 의 α 0.5, 파랑 (0, 0, 1) 의 α 1 이 이 순서로 있습니다.
| 표본 | αᵢ | Tᵢ | 기여 Tᵢαᵢ | 왜 |
|---|---|---|---|---|
| 1 빨강 | 0.4 | 1 | 1 × 0.4 = 0.4 | 맨 앞이라 가린 것이 없다 |
| 2 초록 | 0.5 | 1 × (1 − 0.4) = 0.6 | 0.6 × 0.5 = 0.3 | 빨강이 빛의 0.4 를 막았다 |
| 3 파랑 | 1 | 0.6 × (1 − 0.5) = 0.3 | 0.3 × 1 = 0.3 | 앞의 둘을 지나 0.3 만 남았다 |
픽셀 색은 C = 0.4·(1, 0, 0) + 0.3·(0, 1, 0) + 0.3·(0, 0, 1) = (0.4, 0.3, 0.3) 입니다. 파랑의 α 가 1 이라 뒤로 남는 빛은 0.3 × (1 − 1) = 0 이고, 기여의 합 0.4 + 0.3 + 0.3 = 1 입니다. 파랑은 혼자 두면 완전히 불투명한데도, 앞의 둘에 가려 픽셀의 0.3 만 차지합니다.
6. 3D 가우시안 스플래팅: 빈 곳을 건너뛰어 실시간
NeRF 는 픽셀마다 광선 위의 모든 표본에서 신경망을 부르고, 그 가운데 많은 표본은 빈 공간에 떨어집니다. 3D 가우시안 스플래팅(3D Gaussian splatting) 논문(Kerbl 외)은 장면을 신경망 대신 3D 가우시안 여러 개로 나타냅니다. 3D 가우시안은 가운데가 진하고 가장자리로 갈수록 옅어지는 흐릿한 타원체 덩어리라고 보면 됩니다. 그리기는 이 덩어리들을 화면에 뿌리듯 찍어서(splatting) 합니다.
- 시작. 카메라 보정 때 나온 성긴 점들에서 시작합니다.
- 빈 곳. 연속 부피 표현의 좋은 성질을 지키면서, 빈 공간에서 하는 불필요한 계산을 피합니다.
- 학습. 가우시안의 밀도를 조절하는 일(더하고 빼기)과, 가우시안마다 이방성 공분산(anisotropic covariance), 곧 방향마다 퍼진 정도가 다른 모양을 최적화하는 일을 번갈아 합니다.
- 속도. 논문은 1080p 해상도에서 초당 30 장 이상의 실시간 새 시점 합성을 보고합니다.
7. 언제 무엇을 쓰나
| 선택지 | 좋은 점 | 나쁜 점 | 쓰는 경우 |
|---|---|---|---|
| 깊이 맵 + 2D 합성곱 | 그림과 같은 2D 격자라 2D 신경망을 그대로 쓴다 | 한 시점에서 보이는 겉만 있다 | 카메라 한 대에서 본 거리만 있으면 될 때 |
| 복셀 + 3D 합성곱 | 2D 합성곱의 생각을 그대로 늘린다 | 해상도의 세제곱으로 커진다. 빈 칸도 자리를 차지한다 | 낮은 해상도로도 되는 일 |
| 포인트 클라우드 + PointNet | 바꾸지 않고 점을 바로 받는다. 분류·부품 분할·장면 의미 분석을 한 구조로 | 이 쪽의 단순한 꼴(점마다 따로 → 최대 풀링)에는 가까운 점끼리 묶어 보는 단계가 없다 | 스캐너처럼 점으로 받은 자료를 분류하거나 나눌 때 |
| NeRF | 카메라 자세를 아는 사진만으로 학습해 새 시점을 그린다 | 픽셀마다 표본마다 신경망을 불러 그리는 계산이 많다 | 여러 각도의 사진으로 장면을 다른 각도에서 보고 싶을 때 |
| 3D 가우시안 스플래팅 | 빈 공간의 계산을 피해 1080p 에서 실시간 | 카메라 보정에서 나온 점이 있어야 시작한다 | 새 시점을 실시간으로 그려야 할 때 |
자주 묻는 것
NeRF 와 3D 가우시안 스플래팅은 무엇이 다른가요?
NeRF 는 장면을 신경망 함수 하나로 담고, 픽셀마다 광선 위의 점들에서 그 함수를 불러 볼륨 렌더링으로 색을 합칩니다. 3D 가우시안 스플래팅은 장면을 3D 가우시안 여러 개로 담고 화면에 뿌려 그립니다. 빈 공간의 불필요한 계산을 피해서, 논문은 1080p 에서 초당 30 장 이상의 실시간 새 시점 합성을 보고합니다.
포인트 클라우드를 순서대로 이어 붙여 신경망에 넣으면 안 되나요?
점의 순서에는 뜻이 없는데, 이어 붙이면 같은 점 모음이 순서마다 다른 입력이 됩니다. 실험 ② 에서 섞을 때마다 이어 붙인 줄이 달라지는 것을 볼 수 있습니다. 그래서 점마다 같은 층을 쓴 뒤 최대 풀링처럼 순서와 상관없는 연산으로 모읍니다.
복셀은 왜 해상도를 마음껏 올리지 못하나요?
칸 수가 해상도의 세제곱이라서입니다. 한 변을 두 배로 하면 칸은 8 배가 됩니다. 128³ 은 2,097,152 칸이고, 칸마다 float32 값 하나만 둬도 8 MiB 입니다. 256³ 이면 64 MiB 입니다. 물체의 겉면이 아닌 빈 칸도 모두 자리를 차지합니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 칸마다 거리를 적은 그림 | 깊이 맵(depth map) |
| 3D 픽셀 · 3D 칸의 격자 | 복셀(voxel) · 복셀 격자(voxel grid) |
| 점 목록 | 포인트 클라우드(point cloud) |
| 꼭짓점과 삼각형 면 | 메시(mesh), 정점(vertex), 면(face) |
| 함수로 담기 | 암시적 표현(implicit representation) |
| 정육면체 커널로 미끄러뜨리기 | 3D 합성곱(3D convolution) |
| 순서를 바꿔도 같은 답 | 순열 불변성(permutation invariance) |
| 모든 점에 같은 층 | 공유 MLP(shared MLP), 다층 퍼셉트론(multilayer perceptron) |
| 칸마다 최댓값 고르기 | 최대 풀링(max pooling) |
| 장면을 담은 신경망 | 신경 방사장(neural radiance field, NeRF) |
| 광선 위의 색 합치기 | 볼륨 렌더링(volume rendering) |
| 빽빽한 정도 · 빛을 막는 정도 | 부피 밀도(volume density) · 불투명도(opacity, 알파) |
| 살아남은 빛 | 투과율(transmittance) |
| 찍은 위치와 방향 | 카메라 자세(camera pose) |
| 새 각도에서 그리기 | 새 시점 합성(novel view synthesis) |
| 3D 덩어리를 뿌려 그리기 | 3D 가우시안 스플래팅(3D Gaussian splatting) |
| 방향마다 퍼진 정도가 다른 모양 | 이방성 공분산(anisotropic covariance) |
출처
- Qi 외, PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation, 2016(포인트 클라우드의 불규칙한 형식과 복셀·그림 모음으로 바꾸던 방식, 포인트 클라우드를 바로 받는 구조, 입력 점의 순서 불변, 분류·부품 분할·장면 의미 분석).
- Mildenhall 외, NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis, 2020(완전 연결 신경망으로 담은 연속 장면, 위치와 방향을 넣어 밀도와 색을 얻기, 광선 위 표본과 고전적 볼륨 렌더링, 미분 가능한 렌더링과 카메라 자세를 아는 사진).
- Kerbl 외, 3D Gaussian Splatting for Real-Time Radiance Field Rendering, 2023(카메라 보정의 성긴 점에서 시작하는 3D 가우시안, 빈 공간의 계산 피하기, 밀도 조절과 이방성 공분산 최적화, 1080p 에서 30fps 이상).