t-SNE 와 UMAP: 고차원 자료를 2차원 그림으로 펴기

문장 임베딩은 숫자가 수백 개인 점입니다. 눈으로 보려면 2차원 평면에 옮겨야 하는데, 직선으로 누르면(PCA) 엉키는 모양이 있습니다. 서로 꿰인 고리 둘을 t-SNE 로 한 걸음씩 펴 보고, 그 그림을 어디까지 믿어도 되는지 봅니다.

한 줄 답. t-SNE 는 「누가 누구의 이웃인가」를 지키며 고차원 점을 2차원에 펴는 방법입니다. 원래 공간에서 점마다 이웃일 확률을 적고, 2차원에서도 그 확률이 비슷해지도록 점을 조금씩 옮깁니다. UMAP 은 이웃 그래프를 지키도록 펴는 비슷한 방법이고 보통 더 빠릅니다. 둘 다 보는 용도입니다. 무리 사이의 거리와 무리의 크기는 믿을 수 없고, 하이퍼파라미터와 시드(seed)를 바꾸면 그림이 달라집니다.

PCA: 가장 넓게 퍼진 두 방향으로 누르기
t-SNE: 이웃 확률을 맞추며 한 걸음씩 옮기기
10

자료는 3차원 점 48개입니다. 고리 A(초록 동그라미 24개)는 반지름 1 로 바닥에 누워 있고, 고리 B(파랑 네모 24개)는 반지름 0.8 로 서서 A 를 꿰고 있습니다. 사슬의 고리 두 개와 같습니다. 고정 시드로 조금 흔들어 지어냈습니다. 옅은 선은 고리를 따라 이웃한 점끼리 이은 것입니다. 두 그림은 점이 꽉 차게 확대·축소하고, 가로·세로 배율은 같습니다. perplexity 나 시드를 바꾸면 t-SNE 가 처음부터 다시 시작합니다. 작게 줄인 본보기입니다. 점이 적어 모든 쌍을 그대로 계산하고(학습률 20, 모멘텀 0.8), 진짜 구현이 쓰는 큰 자료용 근사와 처음 걸음들에서 P 를 키우는 「이른 과장」 같은 요령은 뺐습니다.

해 볼 것. ① 처음에는 점들이 원점 가까이 아주 작게 흩어져 있고 KL 은 1.52 입니다. 「100걸음」을 누르면 KL 이 0.23 으로 내려가며 두 고리가 떨어진 고리 둘로 펴집니다. 두 번 더 누르면(300걸음) 0.19 입니다. ② 왼쪽 PCA 는 분산의 85% 를 남기지만, 고리 B 는 옆에서 본 고리처럼 막대로 눌려 고리 A 를 가로지릅니다. ③ perplexity 를 3 으로 바꾸고 300걸음 가면 KL 0.44 이고 고리가 매끈하게 둥글지 않고 구겨집니다. 25 로 바꾸면 0.08 이고 두 고리가 한 자리에 겹쳐 그려집니다. perplexity 가 다르면 P 도 달라서 KL 끼리는 비교하지 않습니다. ④ perplexity 10 에서 「다른 시드」를 한 번 누르고(시드 2) 300걸음 가면 KL 0.22 이고 그림도 시드 1 과 다릅니다. 같은 자료, 같은 하이퍼파라미터인데도 그렇습니다.

1. 무엇을 하나: 높은 차원의 점을 2차원에 펴기

임베딩은 문장이나 그림을 숫자 수백 개로 적은 점입니다. 비슷한 것끼리 가깝게 놓입니다. 그런데 사람의 눈은 2차원(평면)까지만 봅니다. 그래서 점들을 평면으로 옮기되, 원래의 무엇인가를 최대한 지킵니다. 무엇을 지키느냐가 방법마다 다릅니다.

PCA 는 직선으로 누릅니다. 가장 넓게 퍼진 방향 둘을 골라 그 평면에 그림자를 떨어뜨립니다. 빠르고, 늘 같은 답이 나오고, 새 점도 같은 식으로 옮길 수 있습니다. 하지만 휘어 있는 모양은 누르는 순간 겹칩니다. 실험의 고리 B 는 옆에서 본 고리처럼 막대가 되어 고리 A 를 가로지릅니다. 분산은 85% 나 남았는데도 「누가 이웃인가」는 망가졌습니다.

t-SNE 는 이웃을 지킵니다. 방향을 고르지 않습니다. 점마다 「가까운 이웃이 누구였나」를 확률로 적어 두고, 2차원에서도 같은 이웃이 가깝게 오도록 점을 옮깁니다. 먼 점 사이의 거리는 거의 신경 쓰지 않습니다.

1. 원래 공간에서 점 쌍마다 이웃 확률 p_ij 를 구한다 (2절)
2. 2차원에 점을 아무렇게나 놓는다 (원점 가까이 아주 작게)
3. 2차원에서 점 쌍마다 이웃 확률 q_ij 를 구한다
4. p 와 q 가 다른 정도(KL)가 줄도록 점을 조금씩 옮긴다 (3절)
5. 3 ~ 4 를 여러 번 되풀이한다

2. 식이 만들어지는 과정: 거리에서 이웃 확률로

점 넷으로 손으로 따라가 봅니다. A 에서 B, C, D 까지의 거리가 1, 2, 4 라고 합시다. A 의 눈으로 「누가 내 이웃일까」를 확률로 바꿉니다.

  1. 거리: d(i, j) = ‖xᵢ − xⱼ‖. A 에서 B, C, D 까지 1, 2, 4. 거리는 멀수록 커지니 그대로는 「이웃일 가능성」이 아닙니다.
  2. 가까울수록 크게: exp(−d² ÷ 2σ²). σ = 1 이면 B 0.607, C 0.135, D 0.00034. 거리 0 에서 1 이고 멀어질수록 빠르게 0 으로 가는, 정규분포의 종 모양입니다. σ 는 종의 폭이라, 크면 먼 점도 이웃으로 칩니다. 까닭: 가까운 몇 점에 몫을 몰아주고 먼 점은 거의 0 으로 만들려면 빨리 줄어드는 곡선이 필요합니다.
  3. 합이 1 이 되게: p(j | i) = exp(−d(i, j)² ÷ 2σᵢ²) ÷ Σₖ exp(−d(i, k)² ÷ 2σᵢ²). 셋의 합 0.742 로 나누면 B 0.817, C 0.182, D 0.00045 입니다. 「A 가 이웃을 하나 고른다면 B 일 확률이 82%」라는 뜻입니다. 까닭: 확률로 바꿔야 2차원의 확률과 같은 잣대로 비교하고, 둘이 다른 정도를 KL 로 잴 수 있습니다. σ 는 점마다 따로 정합니다(4절).
  4. 2차원에서는 꼬리를 두껍게: q(i, j) ∝ 1 ÷ (1 + ‖yᵢ − yⱼ‖²). ∝ 는 「나누기 전의 모양이 이것」이라는 뜻입니다. 꼬리가 두꺼운 t 분포(자유도 1)의 모양입니다. 거리 4 에서 종 모양은 0.00034, 이 식은 0.059 로 175 배입니다. 높은 차원에서 거리 2 로 얻던 값 0.135 를 이 식은 거리 2.53 에서 냅니다. 까닭(붐빔 문제): 높은 차원에는 한 점에서 중간쯤 떨어진 점들이 아주 많이 들어갈 자리가 있지만, 평면에는 그만한 자리가 없습니다. 같은 종 모양을 쓰면 그 점들을 모두 가까이 우겨 넣어야 해 가운데가 붐빕니다. 꼬리가 두꺼우면 중간쯤 떨어진 점을 더 멀리 놓아도 같은 확률이 나와, 무리 사이에 틈이 생깁니다.
점거리 dexp(−d² ÷ 2)÷ 합 = p(j | A)1 ÷ (1 + d²)
B10.6070.8170.5
C20.1350.1820.2
D40.000340.000450.059
합0.7421

실제 t-SNE 는 두 가지를 더 합니다. p 는 짝을 맞춥니다: p_ij = (p(j | i) + p(i | j)) ÷ 2n (n 은 점 수). q 는 점 하나씩이 아니라 모든 쌍을 통틀어 합이 1 이 되게 나눕니다: q_ij = (1 + ‖yᵢ − yⱼ‖²)⁻¹ ÷ Σ_(k≠l) (1 + ‖y_k − y_l‖²)⁻¹. 그림의 두 곡선은 모양만 비교하려고 둘 다 거리 0 에서 1 이 되게 그렸습니다.

해 볼 것. 「다음」을 세 번 누르면 위의 표가 한 칸씩 그림이 됩니다. ③ 단계의 설명 줄에 나오는 perplexity 1.61 은 「A 가 이웃을 1.6 명쯤 본다」는 뜻입니다(4절). ④ 단계의 주황 점선은 같은 값 0.135 를 내는 거리가 2 에서 2.53 으로 늘어나는 것을 보여 줍니다.

3. 점을 옮기는 법: KL 을 줄이는 경사 하강

p 와 q 가 얼마나 다른지는 KL 발산으로 잽니다: KL(P‖Q) = Σ p_ij · log(p_ij ÷ q_ij). 0 이상이고, 두 목록이 같을 때만 0 입니다. 실험의 설명 줄에 나오는 숫자가 이것입니다.

KL 은 한쪽으로 기울어 있습니다. p 가 큰데 q 가 작으면(가까운 이웃을 멀리 놓으면) 값이 크게 늘고, p 가 작은데 q 가 크면(먼 점을 가까이 놓으면) 조금만 늡니다. 그래서 t-SNE 는 가까운 이웃을 지키는 데 힘을 쓰고 먼 거리는 덜 지킵니다. 6절의 주의가 여기서 나옵니다.

점은 경사 하강법으로 옮깁니다. 원 논문의 기울기(그래디언트)는 ∂KL/∂yᵢ = 4 Σⱼ (p_ij − q_ij)(yᵢ − yⱼ)(1 + ‖yᵢ − yⱼ‖²)⁻¹ 입니다. p 가 q 보다 크면 두 점을 끌어당기고, 작으면 밀어냅니다. 실험의 「한 걸음」이 이 기울기의 반대쪽으로 한 번 옮기는 것입니다. 비용이 볼록하지 않아 처음 자리(시드)에 따라 다른 곳에 멈춥니다.

4. perplexity: 이웃을 몇 명쯤 볼까

2절의 σ 는 점마다 다르게 둡니다. 빽빽한 곳의 점은 σ 를 작게, 성긴 곳의 점은 크게 해야 어느 점이든 비슷한 수의 이웃을 봅니다. σ 를 점마다 손으로 정할 수는 없으니, 「이웃을 몇 명쯤 볼까」 하나를 정하면 점마다 그 수에 맞는 σ 를 이분 탐색으로 찾습니다. 그 수가 perplexity 입니다.

perplexity = 2^H        H = −Σⱼ p(j | i) · log₂ p(j | i)   (엔트로피, 비트)

이웃 k 명에게 확률을 똑같이 나눠 주면 perplexity 가 정확히 k 입니다. 2절의 A 는 B 에 몫이 몰려 있어 1.61 입니다. 작으면 아주 가까운 몇 점만 봐서 작은 조각과 구김이 생기고, 크면 넓게 봐서 큰 모양이 드러나지만 무리끼리 섞이기도 합니다. perplexity 는 점 수보다 작아야 합니다(실험은 점 48개에 3, 10, 25).

5. UMAP: 한 줄로

UMAP 은 점마다 가까운 이웃 몇 개를 이은 그래프를 만들고, 2차원에서도 그 그래프의 연결이 지켜지도록 점을 폅니다. 보통 t-SNE 보다 빠르고 큰 자료에 잘 맞습니다. 두 그래프가 다른 정도는 KL 대신 교차 엔트로피로 잽니다. 하이퍼파라미터는 이웃 수 n_neighbors(perplexity 와 비슷한 구실)와 2차원에서 점끼리 얼마나 붙을 수 있는지 정하는 min_dist 입니다. 이웃을 지키도록 편 그림이라는 점은 같으니, 6절의 주의를 UMAP 그림에도 그대로 둡니다.

6. 그림을 잘못 읽는 법

7. 꼭 알아야 할 성질

성질쉬운 말실험에서
가까운 이웃을 지킨다가까운 이웃을 멀리 놓으면 KL 이 크게 는다perplexity 10 에서 옅은 선이 고리로 남는다
먼 거리는 덜 지킨다먼 점을 가까이 놓아도 KL 은 조금만 는다꿰여 있던 고리가 떨어져 그려진다
답이 하나가 아니다비용이 볼록하지 않아 처음 자리에 따라 다른 곳에 멈춘다300걸음 뒤 시드 1 은 KL 0.19, 시드 2 는 0.22
점 쌍마다 계산한다점이 n 개면 쌍이 n × (n − 1) 개. 큰 자료는 근사(Barnes-Hut 등)를 쓴다점 48개, 쌍 2,256 개
새 점을 넣으려면 다시 돌린다식을 배우는 것이 아니라 점마다의 자리를 정한다PCA 는 축 둘로 어떤 점이든 옮긴다

언제 무엇을 쓰나

방법좋은 점나쁜 점쓰는 경우
PCA빠르고 늘 같은 답. 새 점도 같은 식으로 옮긴다. 남긴 분산 비율로 얼마나 잃었는지 안다직선으로만 누른다. 휜 모양은 겹친다처음 한 번 보기. 차원이 아주 높을 때 t-SNE 앞에서 먼저 줄이기. 모델의 입력 줄이기
t-SNE가까운 이웃과 작은 무리가 잘 보인다느리다. 무리의 크기와 사이 거리를 믿을 수 없다. 하이퍼파라미터·시드마다 그림이 다르다. 새 점을 넣지 못한다임베딩이 비슷한 것끼리 모였는지, 레이블이 섞였는지 눈으로 볼 때
UMAP보통 t-SNE 보다 빠르고 큰 자료에 맞는다. 학습한 그림에 새 점을 놓을 수 있다(umap-learn 의 transform)t-SNE 와 같은 주의. n_neighbors, min_dist 에 따라 그림이 달라진다자료가 커서 t-SNE 가 느릴 때. 같은 그림에 새 자료를 얹어 볼 때

어디에 쓰나

자주 묻는 것

t-SNE 그림에서 멀리 떨어진 두 무리는 많이 다른 건가요?

그렇다고 말할 수 없습니다. t-SNE 는 가까운 이웃을 지키는 데 힘을 쓰고, 먼 점 사이의 거리는 덜 지킵니다. 무리 사이의 거리와 무리의 크기는 원래 공간에서 다시 재서 확인합니다.

perplexity 는 얼마로 두나요?

정답은 없습니다. 「점마다 이웃을 몇 명쯤 볼까」를 정하는 값이고, 점 수보다 작아야 합니다. 값 몇 개로 그려 보고, 여러 그림에 같이 나오는 모양만 믿습니다.

t-SNE 나 UMAP 의 2차원 좌표를 모델의 입력으로 써도 되나요?

조심해야 합니다. 보려고 만든 좌표라 거리와 밀도가 뒤틀려 있고, 다시 돌리면 바뀝니다. t-SNE 는 새 점을 같은 그림에 넣는 방법도 기본에 없습니다. 입력을 줄여야 하면 PCA 나 원래 임베딩을 먼저 생각합니다.

낱말

여기서 쓴 말책에서 부르는 말
고차원 점을 2차원에 펴기차원 축소(dimensionality reduction), 시각화(visualization)
직선으로 누르기선형 사영(linear projection), 주성분 분석(PCA)
이웃 확률유사도(similarity), 친화도(affinity) p_ij, q_ij
종 모양가우스 커널(Gaussian kernel)
꼬리가 두꺼운 분포스튜던트 t 분포(Student's t-distribution), 자유도 1 이면 코시 분포(Cauchy)
평면에 점이 붐빔붐빔 문제(crowding problem)
두 확률 목록이 다른 정도KL 발산(Kullback-Leibler divergence)
이웃을 몇 명쯤 볼까퍼플렉서티(perplexity)
처음 자리를 정하는 난수시드(random seed), 초기화(initialization)
처음 걸음들에서 P 를 키우기이른 과장(early exaggeration)
이웃 그래프k-최근접 이웃 그래프(k-nearest neighbor graph)
휘어 있는 모양매니폴드(manifold), 비선형 구조

출처

← 선형 판별 분석(LDA)매니폴드 →