매니폴드: 높은 차원 속의 낮은 차원 면

흑백 사진 한 장은 숫자 1만 개로 된 점입니다. 그런데 그럴듯한 사진들은 그 넓은 공간에 고르게 퍼져 있지 않고, 좁고 휘어진 면 근처에 모여 있다고 봅니다. 그 면이 매니폴드입니다. 소용돌이로 감긴 실을 직접 펴 보며, 휘어진 면에서는 왜 직선으로 재면 안 되는지 봅니다.

한 줄 답. 매니폴드는 가까이서 보면 평평하고, 전체로는 휘어 있는 면입니다. 지구 표면이 그렇습니다. 동네는 평평해 보이지만 전체는 공입니다. AI 에서는 「실제 자료는 숫자가 많아 보여도 이런 낮은 차원의 면 근처에 모여 있다」는 매니폴드 가설로 씁니다. 증명된 사실이 아니라 잘 맞는 가정입니다. 휘어진 면에서는 직선 거리가 엉터리일 수 있어서, 면을 따라 재거나(측지 거리) 면을 펴서 좌표를 새로 매깁니다. 잠재 공간은 그렇게 편 좌표로 볼 수 있습니다.

0

자료는 평면 위의 점 120개입니다. 세 바퀴 감긴 소용돌이(바퀴 사이 간격 1) 위에 실 순서대로 놓고, 고정 시드(seed)로 조금 흔들어 지어냈습니다. 3차원의 돌돌 만 종이(스위스 롤)를 한 단계 줄인 것으로, 2차원 안에 놓인 1차원 실입니다. 색은 실을 따라 잰 자리 t 입니다(처음 0 은 파랑, 끝 1 은 주황). 펴기는 실 조각마다 길이는 그대로 두고 꺾인 각도만 줄여 갑니다. 그래서 실을 따라 잰 길이는 어느 단계에서나 같습니다. 그림은 점이 꽉 차게 확대·축소하고, 가로·세로 배율은 같습니다.

해 볼 것. ① 펴는 정도 0 에서 아래 띠는 색이 뒤섞여 있습니다. 실 순서대로 놓인 점 쌍이 53% 뿐입니다(반반이면 50%). 바퀴마다 같은 x 자리를 다시 지나기 때문입니다. ② 0.5 에서도 53% 입니다. 아직 감긴 부분이 겹칩니다. 0.75 에서 93%, 1 에서 100% 가 되어 색이 파랑에서 주황까지 차례대로 늘어섭니다. ③ 그동안 실을 따라 잰 길이는 38.3 으로 그대로이고, 양 끝의 직선 거리만 3 에서 38.3 으로 바뀝니다.

1. 매니폴드란: 가까이서 보면 평평한 면

지구 표면을 생각해 봅니다. 동네 지도는 평평한 종이 한 장에 그려도 거의 틀리지 않습니다. 그런데 지구 전체는 공이라, 찌그러뜨리지 않고는 종이 한 장에 다 담을 수 없습니다. 가까이서 보면 평평하고, 전체로는 휘어 있는 것. 이것이 매니폴드입니다. 지구 표면은 3차원 공간 안에 놓인 2차원 매니폴드입니다. 위도와 경도, 숫자 둘이면 자리가 정해지기 때문입니다.

여기서 「차원」은 두 가지입니다. 점을 적는 데 쓰는 숫자의 수(바깥 공간의 차원)와, 면 위에서 움직일 수 있는 방향의 수(면의 차원)입니다. 실험의 점은 x, y 두 숫자로 적지만 실 위에서는 앞뒤 한 방향으로만 움직입니다. 바깥은 2차원, 면은 1차원입니다.

2. 매니폴드 가설: 자료는 좁은 면 근처에 모인다

100 × 100 흑백 얼굴 사진은 칸마다 밝기 숫자가 하나라, 숫자 1만 개로 된 점 하나입니다. 1만 차원 공간의 점입니다. 그런데 이 공간에서 아무 점이나 고르면(칸마다 밝기를 마구 정하면) 거의 언제나 지지직거리는 노이즈 그림이 나옵니다. 얼굴처럼 보이는 점은 이 넓은 공간의 아주 좁은 곳에만 있습니다.

게다가 한 사람의 얼굴 사진은 고개 각도, 표정, 조명 같은 몇십 가지 요인으로 거의 정해진다고 볼 수 있습니다. 고개를 조금 돌리면 사진도 조금 바뀝니다. 그러니 얼굴 사진들은 1만 차원 안에서 몇십 차원짜리 휘어진 면 근처에 놓인다고 생각할 수 있습니다. 이 생각이 매니폴드 가설입니다. 그림, 소리, 글 같은 실제 자료가 대체로 그렇다고 봅니다.

주의. 매니폴드 가설은 증명된 사실이 아니라 잘 맞는 가정입니다. 이 가정 위에서 만든 방법이 잘 돌아간다는 것이 근거이지, 모든 자료가 정말로 매끈한 면 하나 위에 있다는 뜻은 아닙니다. 면이 여러 조각으로 나뉘어 있거나, 곳에 따라 차원이 다를 수도 있습니다.

3. 잠재 공간: 휘어진 면을 편 좌표

매니폴드는 자료가 놓인 휘어진 면이고, 잠재 공간은 그 면을 펴서 매긴 좌표입니다. 지구로 말하면 지구 표면이 매니폴드, 위도·경도 지도가 잠재 공간입니다. 지도에 점 하나를 찍으면 지구 위의 한 곳이 정해지고, 지구 위의 한 곳은 지도의 한 점으로 옮길 수 있습니다.

실험을 끝까지 펴면 점의 자리를 숫자 하나(처음 점에서 오른쪽으로 얼마나)로 적을 수 있습니다. 그 숫자가 실을 따라 잰 자리이고, 이 실의 1차원 잠재 좌표입니다. 띠의 색이 차례대로 늘어서는 것이 그 때문입니다. 오토인코더는 이런 인코더와 디코더를 신경망으로 함께 배웁니다. 다만 세계 지도가 극지방을 크게 늘려 그리듯, 펴낸 좌표도 곳에 따라 늘어나거나 줄어들 수 있습니다.

4. 직선 거리와 면을 따라 잰 거리

돌돌 만 종이 위에 개미 두 마리가 있다고 합시다. 한 마리는 안쪽 바퀴, 한 마리는 바로 바깥 바퀴의 같은 쪽에 있습니다. 공간을 가로질러 직선으로 재면 바퀴 사이 간격만큼 가깝습니다. 그런데 개미는 종이 밖으로 나갈 수 없으니, 종이를 따라 한 바퀴를 빙 돌아야 만납니다. 면을 따라 잰 거리를 측지 거리라고 합니다. 두 도시 사이의 비행 거리를 땅을 뚫고 재지 않고 지구 표면을 따라 재는 것과 같습니다.

50 106

실험 ① 과 같은 점 120개를 펴기 전 모양 그대로 둡니다. 점 번호는 실의 처음 0 부터 끝 119 까지입니다. 실을 따라 잰 거리는 두 점 사이에서 이웃한 점끼리의 직선 거리를 차례로 더한 값입니다(5절).

해 볼 것. ① 처음 고른 50번과 106번은 이웃한 바퀴의 같은 쪽에 있습니다. 직선 거리는 1 인데 실을 따라 재면 18.01, 18 배입니다. ② 점 ② 를 51번(점 ① 바로 옆)으로 옮기면 두 거리가 0.35 와 0.35 로 같습니다. 가까운 곳에서는 면이 평평하기 때문입니다. ③ 0번과 119번(실의 양 끝)은 직선 거리 2.99, 실을 따라 38.26 입니다.

이것이 PCA 가 휘어진 면에서 틀리는 까닭입니다. PCA 는 점들이 가장 넓게 퍼진 곧은 방향을 골라 그 방향에 그림자를 떨어뜨립니다. 실험 ① 의 아래 띠가 그런 그림자입니다. 곧게 누르면 직선으로 가까운 다른 바퀴의 점들이 같은 자리에 떨어져 색이 섞입니다. 소용돌이는 어느 곧은 방향으로 눌러도 바퀴가 겹칩니다. 휘어진 면을 제대로 펴려면 면을 따라 잰 거리나 가까운 이웃을 지키는 방법이 필요합니다. Isomap 은 측지 거리를 구해 지키고, t-SNE 와 UMAP 은 가까운 이웃을 지키며 펴고, 오토인코더는 펴는 함수를 배웁니다.

5. 식이 만들어지는 과정: 짧은 직선을 차례로 더하기

휘어진 길의 길이는 바로 재기 어렵습니다. 그래서 길을 짧은 조각으로 자르고, 조각마다 직선으로 재서 더합니다. 조각이 짧으면 그 안에서는 길이 거의 곧기 때문입니다. 「가까이서 보면 평평하다」를 그대로 쓰는 것입니다. 반지름 1 인 반원 위에 점 넷 x₀, x₁, x₂, x₃ 를 같은 간격으로 놓고 따라가 봅니다.

  1. 직선 거리: d(x₀, x₃) = ‖x₃ − x₀‖. 2 입니다. 반원의 지름이라, 실 밖의 빈 곳을 지나갑니다.
  2. 첫 조각: ‖x₁ − x₀‖. 1 입니다. 바로 이웃한 두 점은 직선으로 이어도 실에서 크게 벗어나지 않습니다. 까닭: 가까이서 보면 면은 평평하니, 짧은 거리에서는 직선 거리를 믿어도 됩니다.
  3. 조각을 하나 더: ‖x₁ − x₀‖ + ‖x₂ − x₁‖. 합 2 입니다. 바로 이웃한 점끼리만 잇고 건너뛰지 않습니다. 까닭: 멀리 건너뛰는 직선은 다시 빈 곳을 지나갑니다.
  4. 모두 더하기: D(x₀, x₃) ≈ Σₖ ‖xₖ − xₖ₋₁‖. 합 3 으로, 직선 거리 2 의 1.5 배입니다. 진짜 반원의 길이 π ≈ 3.14 보다 조금 짧고, 조각을 6개로 나누면 3.11, 12개면 3.13 으로 다가갑니다. 까닭: 조각 하나하나는 실보다 조금 짧은 지름길이라 합이 늘 조금 모자라지만, 조각이 짧아질수록 그 차이가 줄어듭니다.

실험 ② 의 「실을 따라 잰 거리」가 이 합입니다. 다만 실제 자료에는 실의 순서가 적혀 있지 않습니다. Isomap 은 점마다 가까운 이웃 몇 개를 이어 그래프를 만들고, 그 그래프에서 가장 짧은 길을 찾아 이 합을 구합니다. 그다음 그 거리를 최대한 지키도록 점을 낮은 차원에 놓습니다.

6. 틀리기 쉬운 점

언제 무엇을 쓰나

방법좋은 점나쁜 점쓰는 경우
PCA빠르고 늘 같은 답. 새 점도 같은 식으로 옮긴다. 남긴 분산 비율로 얼마나 잃었는지 안다곧게만 누른다. 면이 휘어 있으면 다른 바퀴가 겹친다(실험 ① 의 띠)면이 거의 평평할 때. 처음 한 번 보기. 다른 방법 앞에서 먼저 줄이기
Isomap측지 거리를 지키며 편다. 돌돌 만 면을 곧게 편다이웃을 너무 넓게 잡거나 노이즈가 크면 바퀴 사이를 건너뛰는 지름길이 생겨 망가진다. 모든 점 쌍의 최단 거리를 구해 큰 자료에 느리다면 하나가 매끈하게 휘어 있고, 면을 따라 잰 거리 자체를 지키고 싶을 때
t-SNE · UMAP가까운 이웃이 잘 지켜져 무리가 잘 보인다보는 용도다. 먼 거리와 무리의 크기를 믿을 수 없다. 하이퍼파라미터와 시드마다 그림이 다르다휘어진 자료를 2차원 그림으로 볼 때
오토인코더인코더·디코더를 함께 배워, 새 자료도 좌표로 바꾸고 좌표에서 자료를 다시 만든다학습해야 하고 자료가 많이 든다. 축의 뜻이 정해지지 않는다휘어진 면의 좌표를 모델의 입력이나 새 자료 만들기에 쓸 때

자주 묻는 것

매니폴드 가설은 증명된 건가요?

아닙니다. 실제 자료가 낮은 차원의 휘어진 면 근처에 모여 있다는 가정입니다. 이 가정 위에서 만든 방법들이 잘 돌아가는 것이 근거이고, 모든 자료에 늘 맞는다는 보장은 없습니다.

내 자료가 평평한 면인지 휘어진 면인지 어떻게 아나요?

딱 잘라 아는 방법은 없습니다. 레이블이나 순서처럼 이미 아는 것으로 점을 칠하고 PCA 로 눌러 봅니다. 색이 차례대로 늘어서면 PCA 로 충분하고, 실험 ① 의 띠처럼 색이 섞이면 휘어진 면을 의심하고 t-SNE·UMAP 그림과 비교합니다.

매니폴드와 잠재 공간은 같은 말인가요?

아닙니다. 매니폴드는 원래 공간 안에서 자료가 놓인 휘어진 면이고, 잠재 공간은 그 면을 펴서 매긴 좌표입니다. 지구 표면과 위도·경도 지도의 관계입니다.

낱말

여기서 쓴 말책에서 부르는 말
가까이서 보면 평평하고 전체로는 휘어 있는 면매니폴드(manifold), 다양체
자료는 좁은 면 근처에 모인다는 생각매니폴드 가설(manifold hypothesis)
면의 차원내재 차원(intrinsic dimension)
점을 적는 숫자의 수바깥 공간의 차원(ambient dimension)
직선 거리유클리드 거리(Euclidean distance)
면을 따라 잰 거리측지 거리(geodesic distance)
면을 편 좌표잠재 공간(latent space), 잠재 표현(latent representation)
휘어진 면을 펴는 방법매니폴드 학습(manifold learning), 비선형 차원 축소(nonlinear dimensionality reduction)
곧게 누르기선형 사영(linear projection)
돌돌 만 종이스위스 롤(Swiss roll)
짧은 직선을 차례로 더하기꺾은선으로 곡선의 길이 어림하기(polygonal approximation of arc length)
바퀴 사이를 건너뛰는 지름길단락(short-circuit)

출처

← t-SNE 와 UMAP결정 트리, 랜덤 포레스트, 부스팅 →