정합: 강체에서 비강체까지
같은 물체를 두 번 찍으면 두 자료의 자리가 어긋납니다. 둘을 겹쳐 같은 곳이 같은 자리에 오게 하는 변환을 찾는 일이 정합(registration)입니다. 가장 가까운 점끼리 짝짓고 그 짝에 맞게 옮기기를 한 걸음씩 눌러 보세요.
한 줄 답. 정합(registration)은 움직이는 쪽(moving)을 고정 쪽(fixed)에 겹치는 변환을 찾는 일입니다. 변환을 회전과 이동으로만 묶으면 강체 정합, 자리마다 다르게 휘게 두면 비강체 정합입니다. 어느 점이 어느 점의 짝인지 모르는 포인트 클라우드는 ICP(iterative closest point)가 「가장 가까운 점끼리 짝짓기 → 그 짝에 맞게 돌리고 옮기기」를 되풀이해 맞춥니다.
초록은 고정 쪽(타깃), 주황은 움직이는 쪽(소스)입니다. RMSE(root mean square error, 평균 제곱근 오차)는 짝 사이 거리를 제곱해 평균 내고 제곱근을 씌운 값으로, 0 이면 완전히 겹친 것입니다. 주황은 초록을 원점 둘레로 돌리고 (0.5, 0.5) 만큼 옮긴 사본이라, 주황 i 번 점의 정답 짝은 초록 i 번 점입니다. ICP 는 이 정답을 모르고, 맞는 짝·틀린 짝의 색은 보는 사람을 위한 것입니다. 점 간격은 일부러 고르지 않게 지었습니다. 0.5 간격으로 고르게 두었더니 작게 어긋나도 한 칸 미끄러진 자리(RMSE 0.21)에 멈췄습니다.
해 볼 것. ① 처음 그대로(작게 어긋남) 「다음」을 끝까지 누르면 반복 다섯 번에 RMSE 가 0.7 → 0.34 → 0.22 → 0.17 → 0.08 → 0 으로 줄고, 맞는 짝이 5, 6, 8, 10, 12 개로 늘어 정답 자리에 닿습니다. 첫 반복에서 맞는 짝이 다섯뿐인데도 옮기고 나면 짝이 나아집니다. ② 「크게 어긋남」을 누르고 끝까지 가면 RMSE 가 1.93 에서 0.72 까지 줄고 멈추지만, 맞는 짝은 처음부터 끝까지 0 개입니다. 주황 세로 막대의 점 넷이 초록 가로 막대와, 주황 가로 막대의 점 다섯이 초록 세로 막대와 짝을 지은 채 멈춥니다. RMSE 가 줄었다고 맞는 자리에 온 것은 아닙니다.
1. 정합이란: 고정 쪽과 움직이는 쪽
같은 물체·장소·사람을 두 번 담은 자료가 둘 있습니다. 드론이 두 번 날아 찍은 사진, 스캐너로 두 방향에서 잰 포인트 클라우드(point cloud, 점마다 x·y·z 를 가진 점 무리), 같은 환자의 CT 와 MRI. 찍은 자리와 각도가 달라서 그대로 겹치면 어긋납니다. 하나를 가만히 두고 다른 하나를 옮겨, 같은 곳이 같은 자리에 오게 하는 변환을 찾는 일이 정합(registration)입니다.
가만히 두는 쪽을 고정 쪽(fixed), 옮기는 쪽을 움직이는 쪽(moving)이라 합니다. 영상이면 고정 영상(fixed image)·이동 영상(moving image), 포인트 클라우드면 타깃(target)·소스(source)라고 부릅니다. SimpleITK 문서는 정합을 「고정 영상의 점을 이동 영상의 대응점으로 옮기는 변환을 추정하는 일」이라고 적고, Open3D 의 ICP 는 「소스를 타깃에 맞추는」 변환을 구합니다. 두 도구가 변환을 적는 방향이 서로 반대이니, 도구를 바꿀 때는 역변환이 필요한지 확인합니다.
어느 점이 어느 점의 짝인지를 대응(correspondence)이라 합니다. 대응을 알면 문제가 쉽고(4절), 모르면 대응과 변환을 같이 찾아야 합니다(5절).
2. 변환의 사다리와 자유도
변환을 얼마나 자유롭게 둘지가 첫 선택입니다. 아래로 갈수록 할 수 있는 것이 늘고, 정해야 할 수(자유도, degrees of freedom)도 늡니다. 숫자는 2차원 기준입니다.
| 변환 | 하는 일 | 자유도(2D) | 그대로 남는 것 |
|---|---|---|---|
| 평행 이동(translation) | 옮기기만 | 2 | 거리, 각, 방향 |
| 강체 변환(rigid) | 회전 + 이동 | 3 | 거리, 각 |
| 닮음 변환(similarity) | + 크기(가로·세로 같은 비율) | 4 | 각, 거리의 비 |
| 아핀 변환(affine) | + 기울이기, 축마다 다른 크기 | 6 | 직선, 평행 |
| 비강체 변환(non-rigid) | 자리마다 다른 이동 | 많음 | 정해 둔 매끄러움만(6절) |
아핀 변환은 행렬 하나로 하는 선형변환에 이동을 더한 것입니다(행렬 칸 4 + 이동 2 = 6). 강체 변환의 회전 행렬은 길이와 각을 바꾸지 않는 직교행렬입니다. SimpleITK 는 변환의 종류로 평행 이동, 오일러 변환(Euler, 2D·3D 의 강체 변환), 닮음 변환, 아핀 변환, BSpline, 변위장(DisplacementField)을 둡니다. 비강체 정합은 변형 정합(deformable registration)이라고도 부릅니다.
3. 정합의 네 부품
SimpleITK 문서는 정합에 네 가지를 골라야 한다고 적습니다.
| 부품 | 하는 일 | 예 |
|---|---|---|
| 변환(transform) | 움직이는 쪽을 어떤 모양으로 옮길 수 있나 | 2절의 사다리 |
| 유사도 척도(similarity metric) | 지금 얼마나 잘 겹쳤나를 수 하나로 | 평균 제곱(MeanSquares), 상관(Correlation), 상호 정보량(mutual information, Mattes 등), Demons. 점이면 짝 사이 거리 제곱의 합 |
| 옵티마이저(optimizer) | 척도가 좋아지는 쪽으로 변환의 수를 고쳐 간다 | 경사 하강법 같은 방법 |
| 보간(interpolation) | 옮긴 자리가 화소 사이에 떨어지면 그 자리의 값을 이웃 화소로 메운다 | SimpleITK 문서: 보통 선형 보간이면 충분하다 |
ICP 는 이 넷을 이렇게 채운 것으로 볼 수 있습니다. 변환은 강체, 척도는 짝 사이 거리 제곱의 합, 옵티마이저는 4절의 닫힌 식(한 번에 풀림)이고, 점을 옮길 뿐 화소 값을 읽지 않으니 보간이 필요 없습니다.
4. 강체 정합을 손으로: 짝을 알 때
짝(aᵢ ↔ bᵢ)을 안다면 가장 잘 맞는 회전과 이동은 계산 몇 줄로 나옵니다. 거리 제곱의 합을 가장 작게 하는 것이니 최소제곱 문제입니다.
목표 Σ |R(θ) aᵢ + t − bᵢ|² 를 가장 작게 하는 θ 와 t
중심 ā = (a₁ + … + aₙ) ÷ n, b̄ = (b₁ + … + bₙ) ÷ n
중심 빼기 aᵢ′ = aᵢ − ā, bᵢ′ = bᵢ − b̄
각도 θ = atan2( Σ (a′ₓ b′ᵧ − a′ᵧ b′ₓ), Σ (a′ₓ b′ₓ + a′ᵧ b′ᵧ) )
이동 t = b̄ − R(θ) ā
옮긴 점 aᵢ → R(θ) aᵢ + t
aᵢ: 움직이는 쪽의 i 번 점.bᵢ: 그 짝인 고정 쪽의 점.n: 짝의 수.ā,b̄: 각 무리의 중심(centroid, 좌표의 평균).aᵢ′,bᵢ′: 중심을 뺀 좌표. 아래첨자ₓ,ᵧ는 가로·세로 값입니다.R(θ): θ 만큼 돌리는 회전 행렬[[cos θ, −sin θ], [sin θ, cos θ]].t: 이동(가로, 세로).Σ: i = 1 부터 n 까지 더하기.atan2(y, x): 점 (x, y) 의 각도를 −180° ~ 180° 로 주는 함수(대부분의 언어에 있다).
왜 이 식인가. 두 무리의 중심을 맞추면 이동이 빠지고 회전만 남습니다. 남은 일은 Σ bᵢ′ · R(θ) aᵢ′ 를 가장 크게 하는 θ 를 찾는 것인데, 이 값을 풀어 쓰면 cos θ × (각도 식의 둘째 합) + sin θ × (첫째 합) 이라 θ = atan2(첫째 합, 둘째 합) 에서 가장 큽니다.
손 예제. 움직이는 쪽 a = (0, 0), (3, 0), (0, 3) 과 고정 쪽 b = (5, 1), (5, 4), (2, 1) 이 차례로 짝입니다.
| i | aᵢ | bᵢ | aᵢ′ | bᵢ′ | a′ₓb′ᵧ − a′ᵧb′ₓ | a′ₓb′ₓ + a′ᵧb′ᵧ |
|---|---|---|---|---|---|---|
| 1 | (0, 0) | (5, 1) | (−1, −1) | (1, −1) | 2 | 0 |
| 2 | (3, 0) | (5, 4) | (2, −1) | (1, 2) | 5 | 0 |
| 3 | (0, 3) | (2, 1) | (−1, 2) | (−2, −1) | 5 | 0 |
- 중심. ā = (1, 1), b̄ = (4, 2). 표의 aᵢ′, bᵢ′ 는 이것을 뺀 값입니다.
- 각도. 첫째 합 2 + 5 + 5 = 12, 둘째 합 0 + 0 + 0 = 0. θ = atan2(12, 0) = 90°.
- 이동. R(90°) 는 (x, y) 를 (−y, x) 로 보냅니다. t = (4, 2) − R(90°)(1, 1) = (4, 2) − (−1, 1) = (5, 1).
- 확인. a₂ = (3, 0) → R(90°)(3, 0) = (0, 3) → + (5, 1) = (5, 4) = b₂. 세 점 모두 짝과 정확히 겹칩니다.
3차원에서는 회전을 각도 하나로 적을 수 없어 이 식을 그대로 쓰지 못하고, 보통 특잇값 분해(SVD)로 회전 행렬을 구합니다.
5. ICP: 짝을 모를 때
실제 포인트 클라우드에는 짝이 적혀 있지 않습니다. ICP(iterative closest point)는 「지금 가장 가까운 점이 짝이겠지」라고 가정하고 4절을 풀고, 옮긴 뒤 다시 짝을 짓기를 되풀이합니다. Open3D 문서의 입력은 소스·타깃 포인트 클라우드와, 소스를 타깃에 대강 맞추는 초기 변환(initial transformation)입니다.
입력 소스 포인트 클라우드, 타깃 포인트 클라우드, 초기 변환 T
되풀이
① 짝: T 로 옮긴 소스의 점마다 타깃에서 가장 가까운 점을 짝으로 삼는다
② 갱신: 그 짝에 대한 목적 함수를 가장 작게 하는 T 를 구한다(점-대-점이면 4절의 식)
③ 멈춤: (이 쪽의 실험) 짝이 앞 반복과 같으면 멈춘다
가장 가까운 점 하나를 찾는 일은 k-최근접 이웃에서 k = 1 인 찾기와 같습니다. Open3D 문서는 목적 함수 두 가지를 적습니다.
점-대-점 E = Σ |T(aᵢ) − bᵢ|²
점-대-평면 E = Σ ((T(aᵢ) − bᵢ) · nᵢ)²
RMSE √(E ÷ n) (점-대-점, 짝 n 개)
T(aᵢ): 변환 T 로 옮긴 소스의 i 번 점.bᵢ: 그 점과 짝지은 타깃의 점.nᵢ: 타깃 점 bᵢ 의 법선(normal, 그 자리의 표면에 수직인 길이 1 의 벡터).·는 내적입니다.E: 목적 함수(작을수록 잘 겹침).n: 짝의 수.
점-대-점(point-to-point)은 짝 사이 거리 제곱을 모두 셉니다. 점-대-평면(point-to-plane)은 타깃 표면에 수직인 방향의 거리만 세서, 표면을 따라 미끄러지는 것은 벌하지 않습니다. Open3D 문서는 점-대-평면이 점-대-점보다 빨리 수렴한다고 적습니다. 결과는 fitness(인라이어 대응이 있는 점의 비율, 높을수록 좋음)와 inlier RMSE(인라이어 대응의 RMSE, 낮을수록 좋음)로 봅니다. 이 쪽의 실험은 거리 제한 없이 모든 점을 짝지어 RMSE 를 잽니다.
처음 자리가 대강 맞아야 한다. 짝을 「가장 가까운 점」으로 정하니, 처음에 많이 어긋나 있으면 틀린 짝으로 시작합니다. 틀린 짝 안에서 가장 나은 자리로 옮기고 다시 틀린 짝을 지으며, 어느 순간 짝이 바뀌지 않아 멈춥니다. 더 나아질 길이 둘레에 보이지 않는 이런 자리를 국소 최솟값(local minimum)이라 합니다. 실험 ① 의 「크게 어긋남」이 그렇습니다. 그래서 Open3D 문서는 초기 변환을 보통 전역 정합(global registration)으로 얻는다고 적습니다.
6. 비강체 정합: 자리마다 다른 이동
숨 쉬는 장기나 표정처럼 모양 자체가 바뀌면 회전·이동으로는 맞출 수 없습니다. 자리 x 마다 따로 이동 벡터 u(x) 를 두고 x 를 x + u(x) 로 옮깁니다. 이 u 를 변위장(displacement field)이라 합니다. 화소마다 이동을 따로 두면 정할 수가 너무 많아, 성긴 격자의 제어점(control point)만 움직이고 그 사이는 매끄럽게 메우는 방법을 흔히 씁니다. 이것이 B-스플라인(B-spline) 변환입니다.
자유가 크면 척도만 좋게 하려고 판이 엉뚱하게 접히거나 겹칠 수 있습니다. 그래서 비강체 정합에는 변위장이 매끄럽기를 요구하는 규제(regularization)를 같이 겁니다.
제어점은 그림에서 끌어도 됩니다.
휘는 양은 B-스플라인이 아니라 단순한 보간(이중선형 보간)으로 그린 것입니다. 제어점 사이를 곧게 섞기 때문에 제어점이 놓인 줄에서 판이 꺾여 보입니다. 초록 네모는 주황 네모를 5 번 제어점만 위로 1.5 옮겨 휜 것입니다.
옮긴 자리 x → x + u(x)
u(x) = (1 − s)(1 − r) d₁ + s (1 − r) d₂ + (1 − s) r d₃ + s r d₄
u(x): 자리 x 의 이동(변위장).d₁, d₂, d₃, d₄: x 를 둘러싼 칸의 네 모서리 제어점(왼쪽 위, 오른쪽 위, 왼쪽 아래, 오른쪽 아래)을 옮긴 양.s,r: 칸 안에서 x 의 가로·세로 자리. 왼쪽·위가 0, 오른쪽·아래가 1 입니다.
해 볼 것. ① 강체로 두고 막대를 움직여 보세요. 처음 RMSE 는 0.62 이고, 세로 이동을 0.6 으로 올리면 0.21 입니다. 회전을 10° 더하면 0.37 로 오히려 나빠집니다. 4절의 식으로 구한 강체의 가장 좋은 자리도 회전 0°, 이동 (0, 0.58), RMSE 0.21 이라, 막대를 어떻게 움직여도 이 아래로 내려가지 않습니다. ② 비강체로 바꾸고 5 번 제어점의 세로 이동을 1 로 올리면 0.21, 1.5 로 올리면 0 입니다. 판이 휘어 모양이 정확히 겹칩니다. ③ 5 번 대신 2 번(위 가운데)을 1.5 올리면 0.5 입니다. 어느 제어점을 움직이느냐가 중요합니다.
7. 언제 무엇을 쓰나
| 선택지 | 좋은 점 | 나쁜 점 | 쓰는 경우 |
|---|---|---|---|
| 강체 정합 | 정할 수가 적다(2D 에서 3). 모양을 바꾸지 않으니 엉뚱하게 휘지 않는다 | 모양이 바뀐 것은 못 맞춘다(실험 ② 의 바닥 0.21) | 뼈, 건물, 스캔한 단단한 물체. 드론·라이다로 여러 번 찍은 포인트 클라우드를 맞붙일 때 |
| 닮음·아핀 정합 | 크기와 기울기까지 맞춘다 | 휘는 것은 못 맞춘다 | 카메라 사진 붙이기(아핀이나 그 위) |
| 비강체 정합(B-스플라인, 변위장) | 자리마다 다르게 휘어 맞춘다 | 정할 수가 많다. 규제가 없으면 엉뚱하게 접힐 수 있다 | 숨 쉬는 장기, 표정 |
| ICP 점-대-점 | 대응을 몰라도 된다. 짝이 정해지면 한 번에 풀린다 | 처음 자리가 대강 맞아야 한다(실험 ①) | 포인트 클라우드. 초기 변환은 전역 정합으로 |
| ICP 점-대-평면 | Open3D 문서: 점-대-점보다 빨리 수렴한다 | 타깃 점마다 법선이 있어야 한다 | 표면을 스캔한 포인트 클라우드 |
어디에 쓰나
- 포인트 클라우드 맞붙이기. 드론이나 라이다로 여러 번 찍은 포인트 클라우드를 한 좌표로 모으는 것도 정합입니다(3D 비전).
- 의료 영상. 같은 환자의 CT·MRI, 또는 다른 날 찍은 영상을 겹쳐 같은 자리를 비교합니다.
- 사진. 여러 장의 사진을 한 장으로 붙이거나, 다른 때 찍은 같은 곳을 겹쳐 바뀐 곳을 찾습니다.
자주 묻는 것
정합과 ICP 는 같은 건가요?
아닙니다. 정합은 두 자료를 겹치는 변환을 찾는 일 전체의 이름이고, ICP 는 그 가운데 대응을 모르는 두 점 무리를 맞추는 방법 하나입니다. 영상을 정합할 때는 ICP 대신 영상의 밝기로 유사도 척도를 재고 옵티마이저로 변환을 고쳐 갑니다.
ICP 가 틀린 자리에 멈추면 어떻게 하나요?
ICP 는 가장 가까운 점을 짝으로 삼기 때문에, 처음 자리가 크게 어긋나면 틀린 짝으로 시작해 틀린 자리에 멈출 수 있습니다. 이 쪽의 실험 ① 에서 150° 어긋난 L 이 그랬습니다. 그래서 ICP 에는 소스를 타깃에 대강 맞추는 초기 변환을 같이 줍니다. Open3D 문서는 이 초기 변환을 보통 전역 정합으로 얻는다고 적습니다.
fitness 와 inlier RMSE 는 무엇인가요?
Open3D 가 ICP 결과를 평가할 때 쓰는 두 값입니다. fitness 는 인라이어 대응(정해 둔 거리 안에서 짝을 찾은 것)이 있는 점의 비율로 높을수록 좋고, inlier RMSE 는 그 인라이어 대응의 RMSE 로 낮을수록 좋습니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 두 자료를 겹치는 변환 찾기 | 정합(registration), 영상 정합(image registration) |
| 가만히 두는 쪽 · 옮기는 쪽 | 고정 영상(fixed image) · 이동 영상(moving image), 타깃(target) · 소스(source) |
| 어느 점이 어느 점의 짝인지 | 대응(correspondence), 대응점 |
| 회전 + 이동 · 크기까지 · 기울이기까지 | 강체 변환(rigid transformation) · 닮음 변환(similarity transformation) · 아핀 변환(affine transformation) |
| 자리마다 다른 이동 | 비강체 정합(non-rigid registration), 변형 정합(deformable registration), 변위장(displacement field) |
| 변환이 가진 수의 개수 | 자유도(degrees of freedom) |
| 얼마나 잘 겹쳤나 | 유사도 척도(similarity metric): 평균 제곱(mean squares), 상관(correlation), 상호 정보량(mutual information) |
| 수를 고쳐 가는 방법 · 사이 값 메우기 | 옵티마이저(optimizer) · 보간(interpolation), 이중선형 보간(bilinear interpolation) |
| 가장 가까운 점 짝짓기를 되풀이 | ICP(iterative closest point) |
| 짝 사이 거리 · 표면에 수직인 거리 | 점-대-점(point-to-point) · 점-대-평면(point-to-plane), 법선(normal) |
| 대강 맞춘 처음 자리 | 초기 변환(initial transformation), 전역 정합(global registration) |
| 틀린 자리에 멈춤 | 국소 최솟값(local minimum) |
| 짝 사이 거리의 평균 · 짝을 찾은 점의 비율 | RMSE(root mean square error, 평균 제곱근 오차) · fitness, 인라이어(inlier) |
| 격자의 점으로 판 휘기 · 매끄럽게 붙잡기 | B-스플라인 변환(B-spline transform), 제어점(control point) · 규제(regularization) |
| 무리의 한가운데 | 중심(centroid), 무게중심 |
출처
- Open3D 문서: ICP registration(ICP 의 입력과 초기 변환, 전역 정합, 짝 찾기와 변환 갱신의 되풀이, 점-대-점·점-대-평면 목적 함수와 수렴 속도, fitness·inlier RMSE).
- SimpleITK 문서: Registration Overview(정합의 정의, 고를 것 넷: 변환·유사도 척도·옵티마이저·보간, 변환의 종류, 유사도 척도의 종류, 선형 보간이면 보통 충분하다는 것).