메트릭 러닝: 거리를 학습하기

분류 모델은 정해진 클래스 가운데 하나를 고릅니다. 메트릭 러닝은 고르지 않고, 같은 것은 가깝게 다른 것은 멀게 놓이는 공간을 배웁니다. 아래의 점 셋을 옮기고 마진(margin, 다른 것끼리 지킬 여유 거리)을 바꿔 보고, 「한 스텝 학습」을 눌러 보세요.

한 줄 답. 메트릭 러닝(metric learning, 거리 학습)은 입력을 벡터(임베딩)로 바꾸는 모델을, 같은 것끼리는 거리가 가깝고 다른 것끼리는 멀게 학습시키는 방법입니다. 클래스를 고르는 대신 거리를 재니, 학습 때 보지 못한 사람이나 물건도 저장해 둔 임베딩과 거리를 견주어 「같은가」를 가릅니다. 대표적인 손실이 짝 하나를 보는 대조 손실(contrastive loss)과 셋을 보는 삼중항 손실(triplet loss)입니다.

네거티브 자리

d(a, p)
d(a, n)
손실
네거티브

검은 a 가 앵커(anchor, 기준), 초록 p 가 앵커와 같은 것인 포지티브(positive), 파랑 n 이 다른 것인 네거티브(negative)입니다. 앵커는 고정이고 p 와 n 은 끌어서 옮길 수 있습니다(키보드로는 네거티브 자리 단추와 마진 막대). 실선 원의 반지름은 d(a, p), 점선 원의 반지름은 d(a, p) + 마진입니다. 네거티브가 붉은 곳에 있으면 하드, 노란 띠에 있으면 세미하드, 초록 바깥이면 쉬움입니다. 손실이 0 보다 크면 p 와 n 에 다음 스텝에서 옮겨 갈 방향이 화살표로 나옵니다(보이도록 길이를 키워 그렸습니다). 점을 바로 옮기는 작은 계산이며, 실제 모델을 학습시킨 결과가 아닙니다.

해 볼 것. ① 처음 그대로(d(a, p) = 1.5, d(a, n) = 1.9, 마진 1) 손실은 1.5 − 1.9 + 1 = 0.6, 세미하드입니다. 「한 스텝 학습」을 누르면 p 는 앵커 쪽으로, n 은 반대쪽으로 0.25 씩 옮겨 손실이 0.1, 한 번 더 누르면 0 이 됩니다. 그 뒤로는 눌러도 움직이지 않습니다. ② 이어서 「하드」 단추를 누르면 n 이 지금의 d(a, p) = 1 의 절반인 거리 0.5 에 놓여 손실이 1 − 0.5 + 1 = 1.5 입니다. 스텝마다 0.5 씩 줄어 1, 0.5, 0 이 됩니다. ③ 「처음으로」 뒤 「쉬움」을 누르면 d(a, n) = 3.2, 손실 0 입니다. 이 자리 그대로 마진을 2 로 올리면 손실이 1.5 − 3.2 + 2 = 0.3 이 되어 세미하드로 바뀝니다.

1. 분류와 무엇이 다른가

분류 모델은 끝에 클래스마다 점수 한 칸을 두고 가장 큰 칸을 고릅니다(교차 엔트로피로 학습). 그래서 클래스가 미리 정해져 있어야 합니다. 직원 100 명의 얼굴을 가리도록 학습시켰는데 101 번째 사람이 오면, 그 사람의 칸이 없으니 출력 층을 바꾸고 다시 학습해야 합니다.

메트릭 러닝은 끝에서 클래스를 고르지 않고 벡터 하나(임베딩)를 냅니다. 그리고 같은 사람의 사진끼리는 가깝게, 다른 사람의 사진끼리는 멀게 놓이도록 학습합니다. 그러면 새 사람이 와도 모델은 그대로 두고, 그 사람 사진의 임베딩을 저장해 두었다가 다음 사진과의 거리를 재면 됩니다. 얼굴 인증, 비슷한 상품 찾기처럼 「이것과 저것이 같은가」를 묻는 일에 맞습니다.

FaceNet(출처)은 얼굴 사진을 거리가 얼굴의 닮음과 맞는 압축된 공간으로 옮깁니다. 중간의 병목 층을 거치지 않고 임베딩 자체를 바로 최적화하며, 얼굴 하나를 128바이트로 나타냅니다. 논문이 적은 정확도는 LFW 99.63%, YouTube Faces DB 95.12% 입니다.

문장 임베딩을 같은 생각(짝은 당기고 짝 아닌 것은 밀기)으로 학습하는 것은 임베딩 모델 쪽 3절에 있습니다. 이 쪽은 손실의 모양과, 학습에 어떤 삼중항을 쓰는가를 다룹니다.

2. 대조 손실: 짝 하나씩

가장 단순한 꼴은 짝 하나(입력 둘)를 봅니다. 같은 것의 짝이면 거리를 줄이고, 다른 것의 짝이면 밉니다. 다만 다른 짝을 끝없이 밀지는 않고 마진(margin)보다 가까울 때만 밉니다. 마진은 「다른 것끼리는 적어도 이만큼은 떨어져라」는 여유입니다. 대조 손실(contrastive loss)의 널리 쓰이는 꼴은 이렇습니다.

L = s × d² + (1 − s) × max(0, m − d)²

같은 짝(s = 1)이면 둘째 항이 사라져 L = d² 이고, 거리가 0 이 될 때까지 당깁니다. 다른 짝(s = 0)이면 L = max(0, m − d)² 이고, d 가 m 이상이면 0 이라 더 밀지 않습니다. 예를 들어 m = 1 에서 다른 짝의 거리가 0.4 면 (1 − 0.4)² = 0.36, 1.2 면 0 입니다. 이 손실은 거리의 절대 크기를 정해 둡니다. 같은 짝은 0 으로, 다른 짝은 m 바깥으로.

3. 삼중항 손실: 앵커, 포지티브, 네거티브

삼중항 손실(triplet loss)은 셋을 한 묶음(삼중항, triplet)으로 봅니다. 기준이 되는 앵커(anchor), 앵커와 같은 것인 포지티브(positive), 다른 것인 네거티브(negative)입니다. 얼굴이라면 앵커와 포지티브는 같은 사람의 다른 사진, 네거티브는 다른 사람의 사진입니다. FaceNet 이 이렇게 맞는 얼굴과 안 맞는 얼굴의 삼중항으로 학습합니다.

L = max(0, d(a, p) − d(a, n) + margin)

FaceNet 논문의 꼴. 논문(3.1절)은 거리를 제곱한 값으로 같은 식을 쓰고, 임베딩의 길이를 1 로 맞추며, 마진을 0.2 로 두었습니다. 이 쪽의 실험은 그림으로 읽기 쉽게 제곱하지 않은 거리를 씁니다. 세미하드 네거티브의 뜻(포지티브보다는 멀지만 마진 안에 있는 것)은 논문 3.2절과 같습니다.

네거티브가 포지티브보다 마진 이상 멀면(d(a, n) ≥ d(a, p) + margin) 손실은 0 이고, 아니면 모자란 만큼이 손실입니다. 대조 손실과 달리 「얼마나 가까워야 하나」라는 절대 기준이 없고, 포지티브가 네거티브보다 마진만큼 더 가깝다는 순서만 요구합니다.

한 스텝 학습이 하는 일. 손실이 0 보다 클 때 p 와 n 에 대한 기울기(그래디언트)는 이렇습니다.

∂L/∂p = (p − a) ÷ d(a, p)        ∂L/∂n = −(n − a) ÷ d(a, n)

기울기 반대쪽으로 옮기면(경사 하강법) p 는 앵커 쪽으로 다가가고 n 은 앵커에서 멀어집니다. 실험의 「한 스텝 학습」은 둘을 0.25 씩 옮기니, 손실은 0 에 닿을 때까지 스텝마다 0.5 씩 줍니다. 실험은 보기 쉽게 앵커를 고정했지만, 실제로는 앵커도 기울기 ∂L/∂a = −(∂L/∂p + ∂L/∂n) 를 받습니다.

솔직하게 적어 둡니다. 진짜 학습은 점을 바로 옮기지 않습니다. 모델의 가중치를 고치고, 그러면 같은 사진을 다시 넣었을 때 나오는 임베딩이 이 화살표 쪽으로 옮겨 갑니다(임베딩 모델 쪽 3절과 같습니다).

4. 어떤 삼중항을 고르나

네거티브는 앵커에서 잰 거리로 셋으로 나뉩니다. 실험 ① 의 색 영역이 이것입니다.

네거티브조건손실배울 것
쉬운 네거티브(easy negative)d(a, n) ≥ d(a, p) + margin0없음(기울기 0)
세미하드 네거티브(semi-hard negative)d(a, p) ≤ d(a, n) < d(a, p) + margin0 보다 크고 margin 이하순서는 맞지만 여유가 모자란다
하드 네거티브(hard negative)d(a, n) < d(a, p)margin 보다 크다순서부터 틀렸다

삼중항은 아주 많습니다. 아래 실험 ② 는 점이 12 개뿐인데도 삼중항이 288 개입니다(앵커 12 × 같은 무리의 다른 점 3 × 다른 무리의 점 8). 그리고 학습이 나아갈수록 대부분이 쉬움이 되어 손실이 0 입니다. 아무 삼중항이나 고르면 대부분 헛걸음이니, 손실이 0 보다 큰 것, 곧 하드·세미하드 네거티브가 든 삼중항을 골라 학습합니다. 이것을 삼중항 마이닝(triplet mining)이라고 합니다. FaceNet 은 학습하는 도중에 삼중항을 고르는 온라인 삼중항 마이닝을 씁니다.

스텝
손실 > 0 인 삼중항
같은 무리 평균 거리
다른 무리 평균 거리

점 12 개(무리마다 4 개)는 고정 씨앗 난수기로 지어낸 자리라 쪽을 열 때마다 같습니다. 단추 한 번에 288 개 삼중항의 기울기(마진 1)를 모두 더해 점을 옮기기를 5 번 합니다. 실험 ① 과 달리 앵커도 옮깁니다. 점을 바로 옮기는 작은 계산이며, 실제 모델을 학습시킨 결과가 아닙니다.

해 볼 것. ① 처음에는 손실이 0 보다 큰 삼중항이 220 / 288 개이고, 같은 무리끼리 평균 거리(2.61)가 다른 무리끼리(2.5)보다 깁니다. 가장 가까운 점이 같은 무리인 점은 12 개 가운데 2 개입니다. ② 단추를 누를 때마다 손실이 0 보다 큰 삼중항이 150, 73, 26, 0 개로 줍니다. 20 스텝 뒤에는 같은 무리 평균 거리 0.41, 다른 무리 2.77 이고, 12 점 모두 가장 가까운 점이 같은 무리입니다. ③ 그 뒤로는 눌러도 점이 움직이지 않습니다. 모든 삼중항이 쉬움이 되었기 때문입니다.

5. 쓰는 법: 저장해 두고 거리를 잰다

학습이 끝난 모델은 입력 하나를 임베딩 하나로 바꾸는 함수입니다. 쓰는 법은 둘입니다.

등록   저장[이름] = 모델(사진)                # 한 번만. 모델은 다시 학습하지 않는다
찾기   가장 가까운 것 = 저장된 임베딩 가운데 모델(새 사진)과 거리가 가장 짧은 것
가르기 d = 거리(모델(새 사진), 저장[이름])
       d < 문턱값  이면 「같은 사람」

6. 틀리기 쉬운 점: 마진과 정규화

7. 언제 무엇을 쓰나

선택지좋은 점나쁜 점쓰는 경우
분류(교차 엔트로피)클래스마다 점수가 나와 학습과 평가가 단순하다새 클래스가 생기면 출력 층을 바꾸고 다시 학습해야 한다클래스가 정해져 있고 잘 바뀌지 않을 때
대조 손실(짝)짝마다 「같다·다르다」만 있으면 된다같은 짝은 거리 0, 다른 짝은 마진 바깥이라는 절대 크기를 정해 둔다같은 짝·다른 짝으로 된 자료가 있을 때
삼중항 손실「포지티브가 네거티브보다 마진만큼 가깝다」는 순서만 요구한다삼중항이 아주 많고 대부분이 금방 쉬움이 되어, 마이닝이 필요하다(4절)사람·상품처럼 클래스가 계속 늘고, 같은 것끼리 묶인 자료가 있을 때

자주 묻는 것

새 사람이 들어오면 모델을 다시 학습해야 하나요?

아닙니다. 모델은 그대로 두고, 새 사람의 사진을 모델에 넣어 나온 임베딩을 저장해 두면 됩니다. 다음 사진이 오면 그 임베딩과 저장해 둔 임베딩의 거리를 잽니다. 클래스마다 출력 칸이 있는 분류 모델은 새 사람의 칸이 없어서 출력 층을 바꾸고 다시 학습해야 합니다.

손실이 0 인 삼중항은 왜 쓸모가 없나요?

손실이 0 인 곳에서는 기울기도 0 이라 그 삼중항으로는 점이 움직이지 않습니다. 네거티브가 이미 포지티브보다 마진 이상 멀리 있다는 뜻이라, 더 배울 것이 없습니다. 이 쪽의 실험 ② 에서는 20 스텝 뒤에 288 개 모두가 0 이 되어, 더 눌러도 점이 움직이지 않습니다. 그래서 손실이 0 보다 큰 하드·세미하드 네거티브를 골라 학습합니다.

마진은 얼마로 두나요?

모든 자료에 맞는 하나의 값은 없습니다. 다만 임베딩을 길이 1 로 정규화했다면 두 점의 거리는 0 에서 2 사이라, 마진이 2 를 넘으면 어떤 삼중항도 손실 0 에 닿을 수 없습니다. 마진이 0 이면 네거티브가 조금만 멀어도 손실이 0 이라 무리 사이의 틈이 좁게 남습니다. 학습에 쓰지 않은 자료로 재서 고릅니다.

낱말

여기서 쓴 말책에서 부르는 말
거리를 학습하기메트릭 러닝(metric learning), 거리 학습(distance metric learning)
입력을 바꾼 벡터임베딩(embedding)
같은 짝은 당기고 다른 짝은 마진까지 밀기대조 손실(contrastive loss)
기준 · 같은 것 · 다른 것, 그 셋의 묶음앵커(anchor) · 포지티브(positive) · 네거티브(negative), 삼중항(triplet)
셋으로 재는 손실삼중항 손실(triplet loss)
다른 것이 지켜야 할 여유 거리마진(margin)
손실 0 · 순서는 맞지만 여유가 모자람 · 순서가 틀림쉬운 네거티브(easy negative) · 세미하드 네거티브(semi-hard negative) · 하드 네거티브(hard negative)
학습에 쓸 삼중항 고르기삼중항 마이닝(triplet mining), 온라인 삼중항 마이닝(online triplet mining)
같은지 가르는 거리의 기준문턱값, 임계값(threshold)
길이를 1 로 맞추기L2 정규화(L2 normalization)
곧은 거리유클리드 거리(Euclidean distance)

출처

← 자기지도 학습: 라벨 없이 표현 배우기합성곱과 CNN →