t-SNE 와 UMAP: 고차원 자료를 2차원 그림으로 펴기
문장 임베딩은 숫자가 수백 개인 점입니다. 눈으로 보려면 2차원 평면에 옮겨야 하는데, 직선으로 누르면(PCA) 엉키는 모양이 있습니다. 서로 꿰인 고리 둘을 t-SNE 로 한 걸음씩 펴 보고, 그 그림을 어디까지 믿어도 되는지 봅니다.
한 줄 답. t-SNE 는 「누가 누구의 이웃인가」를 지키며 고차원 점을 2차원에 펴는 방법입니다. 원래 공간에서 점마다 이웃일 확률을 적고, 2차원에서도 그 확률이 비슷해지도록 점을 조금씩 옮깁니다. UMAP 은 이웃 그래프를 지키도록 펴는 비슷한 방법이고 보통 더 빠릅니다. 둘 다 보는 용도입니다. 무리 사이의 거리와 무리의 크기는 믿을 수 없고, 하이퍼파라미터와 시드(seed)를 바꾸면 그림이 달라집니다.
자료는 3차원 점 48개입니다. 고리 A(초록 동그라미 24개)는 반지름 1 로 바닥에 누워 있고, 고리 B(파랑 네모 24개)는 반지름 0.8 로 서서 A 를 꿰고 있습니다. 사슬의 고리 두 개와 같습니다. 고정 시드로 조금 흔들어 지어냈습니다. 옅은 선은 고리를 따라 이웃한 점끼리 이은 것입니다. 두 그림은 점이 꽉 차게 확대·축소하고, 가로·세로 배율은 같습니다. perplexity 나 시드를 바꾸면 t-SNE 가 처음부터 다시 시작합니다. 작게 줄인 본보기입니다. 점이 적어 모든 쌍을 그대로 계산하고(학습률 20, 모멘텀 0.8), 진짜 구현이 쓰는 큰 자료용 근사와 처음 걸음들에서 P 를 키우는 「이른 과장」 같은 요령은 뺐습니다.
해 볼 것. ① 처음에는 점들이 원점 가까이 아주 작게 흩어져 있고 KL 은 1.52 입니다. 「100걸음」을 누르면 KL 이 0.23 으로 내려가며 두 고리가 떨어진 고리 둘로 펴집니다. 두 번 더 누르면(300걸음) 0.19 입니다. ② 왼쪽 PCA 는 분산의 85% 를 남기지만, 고리 B 는 옆에서 본 고리처럼 막대로 눌려 고리 A 를 가로지릅니다. ③ perplexity 를 3 으로 바꾸고 300걸음 가면 KL 0.44 이고 고리가 매끈하게 둥글지 않고 구겨집니다. 25 로 바꾸면 0.08 이고 두 고리가 한 자리에 겹쳐 그려집니다. perplexity 가 다르면 P 도 달라서 KL 끼리는 비교하지 않습니다. ④ perplexity 10 에서 「다른 시드」를 한 번 누르고(시드 2) 300걸음 가면 KL 0.22 이고 그림도 시드 1 과 다릅니다. 같은 자료, 같은 하이퍼파라미터인데도 그렇습니다.
1. 무엇을 하나: 높은 차원의 점을 2차원에 펴기
임베딩은 문장이나 그림을 숫자 수백 개로 적은 점입니다. 비슷한 것끼리 가깝게 놓입니다. 그런데 사람의 눈은 2차원(평면)까지만 봅니다. 그래서 점들을 평면으로 옮기되, 원래의 무엇인가를 최대한 지킵니다. 무엇을 지키느냐가 방법마다 다릅니다.
PCA 는 직선으로 누릅니다. 가장 넓게 퍼진 방향 둘을 골라 그 평면에 그림자를 떨어뜨립니다. 빠르고, 늘 같은 답이 나오고, 새 점도 같은 식으로 옮길 수 있습니다. 하지만 휘어 있는 모양은 누르는 순간 겹칩니다. 실험의 고리 B 는 옆에서 본 고리처럼 막대가 되어 고리 A 를 가로지릅니다. 분산은 85% 나 남았는데도 「누가 이웃인가」는 망가졌습니다.
t-SNE 는 이웃을 지킵니다. 방향을 고르지 않습니다. 점마다 「가까운 이웃이 누구였나」를 확률로 적어 두고, 2차원에서도 같은 이웃이 가깝게 오도록 점을 옮깁니다. 먼 점 사이의 거리는 거의 신경 쓰지 않습니다.
1. 원래 공간에서 점 쌍마다 이웃 확률 p_ij 를 구한다 (2절)
2. 2차원에 점을 아무렇게나 놓는다 (원점 가까이 아주 작게)
3. 2차원에서 점 쌍마다 이웃 확률 q_ij 를 구한다
4. p 와 q 가 다른 정도(KL)가 줄도록 점을 조금씩 옮긴다 (3절)
5. 3 ~ 4 를 여러 번 되풀이한다
2. 식이 만들어지는 과정: 거리에서 이웃 확률로
점 넷으로 손으로 따라가 봅니다. A 에서 B, C, D 까지의 거리가 1, 2, 4 라고 합시다. A 의 눈으로 「누가 내 이웃일까」를 확률로 바꿉니다.
- 거리:
d(i, j) = ‖xᵢ − xⱼ‖. A 에서 B, C, D 까지 1, 2, 4. 거리는 멀수록 커지니 그대로는 「이웃일 가능성」이 아닙니다. - 가까울수록 크게:
exp(−d² ÷ 2σ²). σ = 1 이면 B 0.607, C 0.135, D 0.00034. 거리 0 에서 1 이고 멀어질수록 빠르게 0 으로 가는, 정규분포의 종 모양입니다. σ 는 종의 폭이라, 크면 먼 점도 이웃으로 칩니다. 까닭: 가까운 몇 점에 몫을 몰아주고 먼 점은 거의 0 으로 만들려면 빨리 줄어드는 곡선이 필요합니다. - 합이 1 이 되게:
p(j | i) = exp(−d(i, j)² ÷ 2σᵢ²) ÷ Σₖ exp(−d(i, k)² ÷ 2σᵢ²). 셋의 합 0.742 로 나누면 B 0.817, C 0.182, D 0.00045 입니다. 「A 가 이웃을 하나 고른다면 B 일 확률이 82%」라는 뜻입니다. 까닭: 확률로 바꿔야 2차원의 확률과 같은 잣대로 비교하고, 둘이 다른 정도를 KL 로 잴 수 있습니다. σ 는 점마다 따로 정합니다(4절). - 2차원에서는 꼬리를 두껍게:
q(i, j) ∝ 1 ÷ (1 + ‖yᵢ − yⱼ‖²). ∝ 는 「나누기 전의 모양이 이것」이라는 뜻입니다. 꼬리가 두꺼운 t 분포(자유도 1)의 모양입니다. 거리 4 에서 종 모양은 0.00034, 이 식은 0.059 로 175 배입니다. 높은 차원에서 거리 2 로 얻던 값 0.135 를 이 식은 거리 2.53 에서 냅니다. 까닭(붐빔 문제): 높은 차원에는 한 점에서 중간쯤 떨어진 점들이 아주 많이 들어갈 자리가 있지만, 평면에는 그만한 자리가 없습니다. 같은 종 모양을 쓰면 그 점들을 모두 가까이 우겨 넣어야 해 가운데가 붐빕니다. 꼬리가 두꺼우면 중간쯤 떨어진 점을 더 멀리 놓아도 같은 확률이 나와, 무리 사이에 틈이 생깁니다.
| 점 | 거리 d | exp(−d² ÷ 2) | ÷ 합 = p(j | A) | 1 ÷ (1 + d²) |
|---|---|---|---|---|
| B | 1 | 0.607 | 0.817 | 0.5 |
| C | 2 | 0.135 | 0.182 | 0.2 |
| D | 4 | 0.00034 | 0.00045 | 0.059 |
| 합 | 0.742 | 1 |
실제 t-SNE 는 두 가지를 더 합니다. p 는 짝을 맞춥니다: p_ij = (p(j | i) + p(i | j)) ÷ 2n (n 은 점 수). q 는 점 하나씩이 아니라 모든 쌍을 통틀어 합이 1 이 되게 나눕니다: q_ij = (1 + ‖yᵢ − yⱼ‖²)⁻¹ ÷ Σ_(k≠l) (1 + ‖y_k − y_l‖²)⁻¹. 그림의 두 곡선은 모양만 비교하려고 둘 다 거리 0 에서 1 이 되게 그렸습니다.
해 볼 것. 「다음」을 세 번 누르면 위의 표가 한 칸씩 그림이 됩니다. ③ 단계의 설명 줄에 나오는 perplexity 1.61 은 「A 가 이웃을 1.6 명쯤 본다」는 뜻입니다(4절). ④ 단계의 주황 점선은 같은 값 0.135 를 내는 거리가 2 에서 2.53 으로 늘어나는 것을 보여 줍니다.
3. 점을 옮기는 법: KL 을 줄이는 경사 하강
p 와 q 가 얼마나 다른지는 KL 발산으로 잽니다: KL(P‖Q) = Σ p_ij · log(p_ij ÷ q_ij). 0 이상이고, 두 목록이 같을 때만 0 입니다. 실험의 설명 줄에 나오는 숫자가 이것입니다.
KL 은 한쪽으로 기울어 있습니다. p 가 큰데 q 가 작으면(가까운 이웃을 멀리 놓으면) 값이 크게 늘고, p 가 작은데 q 가 크면(먼 점을 가까이 놓으면) 조금만 늡니다. 그래서 t-SNE 는 가까운 이웃을 지키는 데 힘을 쓰고 먼 거리는 덜 지킵니다. 6절의 주의가 여기서 나옵니다.
점은 경사 하강법으로 옮깁니다. 원 논문의 기울기(그래디언트)는 ∂KL/∂yᵢ = 4 Σⱼ (p_ij − q_ij)(yᵢ − yⱼ)(1 + ‖yᵢ − yⱼ‖²)⁻¹ 입니다. p 가 q 보다 크면 두 점을 끌어당기고, 작으면 밀어냅니다. 실험의 「한 걸음」이 이 기울기의 반대쪽으로 한 번 옮기는 것입니다. 비용이 볼록하지 않아 처음 자리(시드)에 따라 다른 곳에 멈춥니다.
4. perplexity: 이웃을 몇 명쯤 볼까
2절의 σ 는 점마다 다르게 둡니다. 빽빽한 곳의 점은 σ 를 작게, 성긴 곳의 점은 크게 해야 어느 점이든 비슷한 수의 이웃을 봅니다. σ 를 점마다 손으로 정할 수는 없으니, 「이웃을 몇 명쯤 볼까」 하나를 정하면 점마다 그 수에 맞는 σ 를 이분 탐색으로 찾습니다. 그 수가 perplexity 입니다.
perplexity = 2^H H = −Σⱼ p(j | i) · log₂ p(j | i) (엔트로피, 비트)
H: 점 i 의 이웃 확률로 구한 엔트로피. 단위는 비트입니다.p(j | i): 점 i 가 이웃을 하나 고른다면 j 일 확률(2절).Σⱼ: 이웃 j 마다 더한다.
이웃 k 명에게 확률을 똑같이 나눠 주면 perplexity 가 정확히 k 입니다. 2절의 A 는 B 에 몫이 몰려 있어 1.61 입니다. 작으면 아주 가까운 몇 점만 봐서 작은 조각과 구김이 생기고, 크면 넓게 봐서 큰 모양이 드러나지만 무리끼리 섞이기도 합니다. perplexity 는 점 수보다 작아야 합니다(실험은 점 48개에 3, 10, 25).
5. UMAP: 한 줄로
UMAP 은 점마다 가까운 이웃 몇 개를 이은 그래프를 만들고, 2차원에서도 그 그래프의 연결이 지켜지도록 점을 폅니다. 보통 t-SNE 보다 빠르고 큰 자료에 잘 맞습니다. 두 그래프가 다른 정도는 KL 대신 교차 엔트로피로 잽니다. 하이퍼파라미터는 이웃 수 n_neighbors(perplexity 와 비슷한 구실)와 2차원에서 점끼리 얼마나 붙을 수 있는지 정하는 min_dist 입니다. 이웃을 지키도록 편 그림이라는 점은 같으니, 6절의 주의를 UMAP 그림에도 그대로 둡니다.
6. 그림을 잘못 읽는 법
- 무리의 크기는 뜻이 없습니다. σ 를 점마다 맞추므로 빽빽한 무리는 늘어나고 성긴 무리는 줄어듭니다. 실험의 고리 B 는 A 보다 작지만(반지름 0.8 대 1), t-SNE 그림에서 크기는 비슷합니다.
- 무리 사이의 거리도 믿을 수 없습니다. KL 은 먼 점을 어디에 두든 별로 벌주지 않습니다. 실험의 두 고리는 서로 꿰여 있을 만큼 가깝지만, perplexity 10 그림에서는 떨어져 있습니다. 멀다고 많이 다른 것도, 가깝다고 비슷한 것도 아닙니다.
- 하이퍼파라미터와 시드에 따라 그림이 달라집니다. perplexity, 걸음 수, 처음 자리마다 다른 그림이 나옵니다. 걸음이 모자라면 덜 펴진 그림입니다. 한 장으로 결론 내지 않고, 몇 가지 설정으로 그려 모든 그림에 같이 나오는 것만 믿습니다.
- 무리가 없는 자료에서도 덩어리가 보일 수 있습니다. perplexity 가 작으면 그냥 흩어진 점들도 작은 덩어리로 뭉쳐 보이기도 합니다(Distill 의 글).
- 보는 용도입니다. 모델의 입력으로 쓰는 것은 조심합니다. 2차원 좌표는 거리와 밀도가 뒤틀려 있고, 다시 돌리면 바뀝니다. 그림에서 본 무리는 원래 임베딩에서 k-평균 같은 방법으로 다시 확인합니다.
7. 꼭 알아야 할 성질
| 성질 | 쉬운 말 | 실험에서 |
|---|---|---|
| 가까운 이웃을 지킨다 | 가까운 이웃을 멀리 놓으면 KL 이 크게 는다 | perplexity 10 에서 옅은 선이 고리로 남는다 |
| 먼 거리는 덜 지킨다 | 먼 점을 가까이 놓아도 KL 은 조금만 는다 | 꿰여 있던 고리가 떨어져 그려진다 |
| 답이 하나가 아니다 | 비용이 볼록하지 않아 처음 자리에 따라 다른 곳에 멈춘다 | 300걸음 뒤 시드 1 은 KL 0.19, 시드 2 는 0.22 |
| 점 쌍마다 계산한다 | 점이 n 개면 쌍이 n × (n − 1) 개. 큰 자료는 근사(Barnes-Hut 등)를 쓴다 | 점 48개, 쌍 2,256 개 |
| 새 점을 넣으려면 다시 돌린다 | 식을 배우는 것이 아니라 점마다의 자리를 정한다 | PCA 는 축 둘로 어떤 점이든 옮긴다 |
언제 무엇을 쓰나
| 방법 | 좋은 점 | 나쁜 점 | 쓰는 경우 |
|---|---|---|---|
| PCA | 빠르고 늘 같은 답. 새 점도 같은 식으로 옮긴다. 남긴 분산 비율로 얼마나 잃었는지 안다 | 직선으로만 누른다. 휜 모양은 겹친다 | 처음 한 번 보기. 차원이 아주 높을 때 t-SNE 앞에서 먼저 줄이기. 모델의 입력 줄이기 |
| t-SNE | 가까운 이웃과 작은 무리가 잘 보인다 | 느리다. 무리의 크기와 사이 거리를 믿을 수 없다. 하이퍼파라미터·시드마다 그림이 다르다. 새 점을 넣지 못한다 | 임베딩이 비슷한 것끼리 모였는지, 레이블이 섞였는지 눈으로 볼 때 |
| UMAP | 보통 t-SNE 보다 빠르고 큰 자료에 맞는다. 학습한 그림에 새 점을 놓을 수 있다(umap-learn 의 transform) | t-SNE 와 같은 주의. n_neighbors, min_dist 에 따라 그림이 달라진다 | 자료가 커서 t-SNE 가 느릴 때. 같은 그림에 새 자료를 얹어 볼 때 |
어디에 쓰나
- 임베딩 살펴보기. 비슷한 문장이 모였는지, 다른 주제가 섞였는지 봅니다(임베딩).
- 레이블 의심하기. 다른 무리 한가운데 끼어 있는 점은 레이블이 틀렸거나 애매한 자료일 수 있습니다. 원래 자료를 열어 확인합니다.
- 신경망 안쪽 보기. 중간 층의 값을 펴서, 학습하며 종류별로 갈라지는지 봅니다.
자주 묻는 것
t-SNE 그림에서 멀리 떨어진 두 무리는 많이 다른 건가요?
그렇다고 말할 수 없습니다. t-SNE 는 가까운 이웃을 지키는 데 힘을 쓰고, 먼 점 사이의 거리는 덜 지킵니다. 무리 사이의 거리와 무리의 크기는 원래 공간에서 다시 재서 확인합니다.
perplexity 는 얼마로 두나요?
정답은 없습니다. 「점마다 이웃을 몇 명쯤 볼까」를 정하는 값이고, 점 수보다 작아야 합니다. 값 몇 개로 그려 보고, 여러 그림에 같이 나오는 모양만 믿습니다.
t-SNE 나 UMAP 의 2차원 좌표를 모델의 입력으로 써도 되나요?
조심해야 합니다. 보려고 만든 좌표라 거리와 밀도가 뒤틀려 있고, 다시 돌리면 바뀝니다. t-SNE 는 새 점을 같은 그림에 넣는 방법도 기본에 없습니다. 입력을 줄여야 하면 PCA 나 원래 임베딩을 먼저 생각합니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 고차원 점을 2차원에 펴기 | 차원 축소(dimensionality reduction), 시각화(visualization) |
| 직선으로 누르기 | 선형 사영(linear projection), 주성분 분석(PCA) |
| 이웃 확률 | 유사도(similarity), 친화도(affinity) p_ij, q_ij |
| 종 모양 | 가우스 커널(Gaussian kernel) |
| 꼬리가 두꺼운 분포 | 스튜던트 t 분포(Student's t-distribution), 자유도 1 이면 코시 분포(Cauchy) |
| 평면에 점이 붐빔 | 붐빔 문제(crowding problem) |
| 두 확률 목록이 다른 정도 | KL 발산(Kullback-Leibler divergence) |
| 이웃을 몇 명쯤 볼까 | 퍼플렉서티(perplexity) |
| 처음 자리를 정하는 난수 | 시드(random seed), 초기화(initialization) |
| 처음 걸음들에서 P 를 키우기 | 이른 과장(early exaggeration) |
| 이웃 그래프 | k-최근접 이웃 그래프(k-nearest neighbor graph) |
| 휘어 있는 모양 | 매니폴드(manifold), 비선형 구조 |
출처
- Laurens van der Maaten, Geoffrey Hinton, Visualizing Data using t-SNE, JMLR, 2008. 이웃 확률 p 와 q, 짝 맞추기, perplexity 와 이분 탐색, 붐빔 문제와 t 분포, 기울기 식, 이른 과장.
- Leland McInnes, John Healy, James Melville, UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction, arXiv:1802.03426. 이웃 그래프, 교차 엔트로피, n_neighbors 와 min_dist.
- Martin Wattenberg, Fernanda Viégas, Ian Johnson, How to Use t-SNE Effectively, Distill. 무리의 크기와 사이 거리, perplexity 와 걸음 수에 따라 달라지는 그림, 흩어진 점에서 보이는 덩어리.
- scikit-learn 문서: TSNE(perplexity 는 점 수보다 작게, Barnes-Hut 근사, 차원이 높으면 먼저 줄이기).