비디오 분류: 시간 축을 더한 합성곱
비디오는 사진을 시간 순서로 쌓은 것입니다. 사진과 다른 것은 움직임입니다. 프레임마다 따로 보면 놓치는 움직임을, 시간으로도 미끄러지는 필터가 어떻게 잡는지 한 걸음씩 눌러 보세요.
한 줄 답. 비디오 분류는 프레임을 쌓은 4차원 자료(시간 × 높이 × 너비 × 채널)에 답 하나를 붙이는 일입니다. 프레임마다 2D CNN 으로 보고 평균하면(후기 융합) 쉽지만 움직임의 방향을 못 봅니다. 필터를 시간으로도 미끄러뜨리는 3D 합성곱, 움직임을 옵티컬 플로로 따로 보는 투 스트림, 2D 필터를 3D 로 부풀리는 I3D, 느린 길과 빠른 길을 나눈 SlowFast 가 이 문제를 풉니다.
| 필터 · 프레임마다 최대의 평균 | → 클립 | ← 클립 | 멈춤 클립 |
|---|
위 줄은 입력 비디오, 아래 줄은 그 걸음의 필터를 쓴 출력입니다. 출력의 초록은 양수, 주황은 음수이고 진할수록 큽니다. 주황 테두리는 필터가 숫자를 가진 입력 칸과, 그 칸들을 곱해 더한 출력 칸 하나입니다. 각 출력 프레임에서 가장 큰 값을 내고 프레임끼리 평균한 것을 그 클립의 점수로 삼아 표에 적습니다. 표의 굵은 초록 숫자가 지금 고른 클립입니다. 비디오는 지어낸 것입니다.
해 볼 것. ① 처음 그대로(→) 「다음」을 한 번 누르면 2D 필터의 점수가 → 클립, ← 클립, 멈춤 클립 모두 4 입니다. ② 한 번 더 누르면 시간 차이 필터가 1, 1, 0 입니다. 멈춤은 가르지만 → 와 ← 는 같습니다. ③ 끝까지 누르면 → 필터 3, ← 필터 1 이라 판정은 「오른쪽」입니다. 「← 왼쪽」을 누르면 1, 3 으로 「왼쪽」, 「멈춤」은 1, 1 로 「방향 없음」입니다.
1. 비디오란: 프레임을 쌓은 4차원 자료
사진 한 장은 높이 × 너비 × 채널의 3차원 숫자 덩어리입니다(컬러면 채널이 3). 비디오는 이런 사진, 곧 프레임(frame)을 시간 순서로 쌓은 것이라 시간 × 높이 × 너비 × 채널의 4차원입니다. 실험의 비디오는 프레임 6 장, 6 × 6 칸, 흑백 1 채널이라 6 × 6 × 6 × 1 개의 숫자입니다. 가령 1 초에 30 장인 224 × 224 컬러 비디오라면 1 초에 30 × 224 × 224 × 3 = 4,515,840 개의 숫자입니다. 비디오에서 잘라 낸 짧은 토막을 클립(clip)이라고 부릅니다.
사진 분류와 다른 점은 움직임입니다. 같은 프레임들이라도 순서가 바뀌면 다른 동작이 됩니다. 실험의 → 클립과 ← 클립은 똑같은 프레임 6 장을 거꾸로 늘어놓은 것뿐인데 답은 「오른쪽」과 「왼쪽」으로 다릅니다. 이 쪽의 출처들이 다루는 비디오 분류는 대부분 사람의 동작을 알아보는 동작 인식(action recognition)입니다.
2. 가장 단순한 길: 프레임마다 2D CNN, 그리고 평균
이미 잘 되는 사진 분류 CNN 을 프레임마다 돌리고, 프레임마다 나온 점수를 평균하면 비디오의 점수가 됩니다. 프레임마다 따로 내린 답을 마지막에 합치니 후기 융합(late fusion)이라고 부릅니다.
비디오 점수 ŷ = (f(x₁) + f(x₂) + … + f(x_T)) ÷ T
xₜ: t 번째 프레임(사진 한 장).f: 사진 한 장을 받아 점수를 내는 2D CNN. 모든 프레임에 같은 것을 씁니다.T: 프레임 수.ŷ: 비디오 하나에 대해 내놓는 점수.
더하기는 순서를 보지 않습니다. 프레임의 순서를 어떻게 섞어도 ŷ 는 그대로입니다. 그래서 순서만 거꾸로인 두 클립은 어떤 f 를 써도 같은 점수를 받습니다. 실험의 걸음 2 에서 → 와 ← 가 똑같이 4 인 이유가 이것입니다. 한 장만 봐도 답이 보이는 것(무엇이 있는지)이면 이걸로 될 수 있지만, 방향이나 순서가 답을 가르면 안 됩니다.
3. 3D 합성곱: 필터가 시간으로도 미끄러진다
2D 합성곱은 작은 필터(커널)가 사진 위를 가로·세로로 미끄러지며 곱해 더합니다. 3D 합성곱(3D convolution)은 필터에 시간 칸을 더해 3 × 3 × 3 처럼 만들고, 가로·세로에 더해 시간으로도 미끄러뜨립니다. 그러면 출력 칸 하나가 앞뒤 프레임의 이웃 칸까지 한꺼번에 봅니다. C3D 논문은 3D ConvNet 이 2D ConvNet 보다 시간과 공간을 함께 담은 시공간 특징(spatiotemporal feature)을 잘 배우고, 모든 층에 3 × 3 × 3 의 작은 커널을 쓰는 균일한 구조가 시험한 것 가운데 가장 좋았다고 보고합니다.
손으로 풀어 보기. 실험의 → 클립에서 점은 t = 1, 2, 3 에 가로 1, 2, 3 칸에 있습니다. 비스듬한 → 필터는 「앞 프레임의 한 칸 왼쪽, 지금의 가운데, 다음 프레임의 한 칸 오른쪽」에 1 을 둡니다. 가운데를 (t = 2, 가로 2)에 놓으면 세 칸이 (1, 1), (2, 2), (3, 3) 이라 셋 다 점 위입니다: 1 + 1 + 1 = 3. ← 클립에서는 점이 t = 1, 2, 3 에 가로 4, 3, 2 라서 같은 필터를 어디에 놓아도 많아야 한 칸만 점 위에 있습니다: 1.
결과 크기. 시간 축에도 2D 와 같은 식을 씁니다. 축마다 따로 셉니다.
T' = ⌊(T + 2pₜ − kₜ) ÷ sₜ⌋ + 1
H' = ⌊(H + 2p − k) ÷ s⌋ + 1 (W' 도 같은 꼴)
T, H, W: 입력의 프레임 수, 높이, 너비.T', H', W': 출력의 프레임 수, 높이, 너비.kₜ, k: 필터의 시간 칸 수, 공간 칸 수(3 × 3 × 3 이면 둘 다 3).pₜ, p: 시간·공간의 패딩(padding, 가장자리에 0 을 두르는 칸 수).sₜ, s: 시간·공간의 스트라이드(stride, 한 번에 옮기는 칸 수).⌊ ⌋: 소수점 아래를 버린다.
실험은 T = 6, kₜ = 3, pₜ = 0, sₜ = 1 이라 T' = (6 + 0 − 3) ÷ 1 + 1 = 4 프레임이고, 공간은 p = 1 이라 H' = (6 + 2 − 3) + 1 = 6 으로 크기가 그대로입니다. 다른 예로 8 프레임 × 32 × 32 에 3 × 3 × 3 필터, 패딩 1, 스트라이드 2 를 모든 축에 쓰면 T' = ⌊7 ÷ 2⌋ + 1 = 4, H' = W' = ⌊31 ÷ 2⌋ + 1 = 16 이라 4 × 16 × 16 이 됩니다. 시간 축을 줄이는 풀링도 같은 식을 따릅니다.
값. 입력 채널이 C 개면 2D 필터 하나의 가중치는 k × k × C 개, 3D 필터는 kₜ × k × k × C 개라 kₜ 배입니다(C = 64, 3 × 3 이면 576 개와 1,728 개). 출력 칸 하나를 셀 때의 곱셈도 kₜ 배입니다.
4. 투 스트림: 모습과 움직임을 따로 본다
움직임을 망이 스스로 찾게 하는 대신, 움직임을 따로 계산해서 넣어 주는 길도 있습니다. 옵티컬 플로(optical flow)는 프레임과 다음 프레임 사이에 화면의 각 자리가 어느 쪽으로 얼마나 움직였는지를 적은 것이고, 모든 칸마다 구한 것을 밀집(dense) 옵티컬 플로라고 합니다. Simonyan 과 Zisserman 의 투 스트림(two-stream) 구조는 망 둘을 나란히 둡니다.
논문은 쌓은 밀집 옵티컬 플로로 학습한 ConvNet 이 학습 자료가 적어도 잘 된다고 보고하고, 동작 인식 자료인 UCF-101 과 HMDB-51 로 평가했습니다. 움직임을 옵티컬 플로라는 입력으로 바로 주니, 실험의 비스듬한 필터 같은 것을 망이 처음부터 찾아내지 않아도 됩니다. 대신 옵티컬 플로를 따로 구해야 합니다.
5. I3D: 사진으로 배운 2D 필터를 3D 로 부풀린다
3D 망을 처음부터 배우려면 큰 비디오 자료가 필요합니다. 사진 쪽에는 ImageNet 으로 잘 학습한 2D 망이 이미 있습니다. Carreira 와 Zisserman 의 I3D 는 2D 이미지 ConvNet 에 시간 칸을 더해 3D 로 부풀려(inflate) ImageNet 의 구조와 가중치를 다시 씁니다. I3D 는 투 스트림 모델이기도 합니다. 같은 논문은 사람 동작 400 종류를 담은 Kinetics 자료를 새로 내고, Kinetics 로 사전 학습한 뒤 HMDB-51 에서 80.9%, UCF-101 에서 98.0% 를 냈습니다.
2D 필터를 3D 로 부풀리는 한 가지 방법을 식으로 적으면 이렇습니다.
W3D[t][y][x] = W2D[y][x] ÷ N (t = 1, 2, …, N)
W2D: 사진으로 학습한 2D 필터.y, x는 필터 안의 세로·가로 칸입니다.W3D: 부풀린 3D 필터. 시간 칸t가 하나 더 있습니다.N: 더한 시간 칸 수(kₜ).
같은 사진을 N 장 쌓은 멈춘 비디오에 W3D 를 쓰면, 같은 값을 N 번 N 으로 나눠 더하니 W2D 를 사진에 쓴 값과 꼭 같습니다(이 쪽의 자가 검사가 실험의 점 찾기 필터로 이것을 확인합니다). 그래서 부풀린 망은 사진 망이 배운 것을 그대로 들고 시작하고, 비디오로 더 학습하며 시간 쪽을 배웁니다. I3D 논문(2.4절)이 바로 이렇게 합니다. 2D 필터의 가중치를 시간 축으로 N 번 되풀이하고 N 으로 나눕니다. 같은 사진만 이어지는 「지루한 비디오」에서 사진 망과 같은 답이 나오게 하려는 것입니다.
6. SlowFast: 느리게 드문드문, 빠르게 촘촘히
Feichtenhofer 외의 SlowFast 는 길 둘로 봅니다. Slow 경로(Slow pathway)는 낮은 프레임 속도로 드문드문 집은 프레임에서 공간 내용(무엇이 있나)을 잡고, Fast 경로(Fast pathway)는 높은 프레임 속도로 촘촘히 집은 프레임에서 섬세한 움직임을 잡습니다. Fast 경로는 채널 수를 줄여 매우 가볍게 만들 수 있습니다.
τ: Slow 경로가 프레임을 집는 간격. τ 프레임마다 한 장입니다.α: Fast 경로가 Slow 경로보다 몇 배 촘촘히 집는지. Fast 경로는 τ ÷ α 프레임마다 한 장입니다.
그림의 값으로 세면 32 프레임 클립에서 Slow 경로는 32 ÷ 8 = 4 장, Fast 경로는 32 ÷ 2 = 16 장을 봅니다. 실험으로 치면, 「무엇이 있나」는 실험의 2D 필터처럼 몇 장만 봐도 알 수 있고, 「어디로 가나」는 비스듬한 필터처럼 이웃한 프레임을 촘촘히 봐야 알 수 있습니다.
7. 언제 무엇을 쓰나
| 선택지 | 좋은 점 | 나쁜 점 | 쓰는 경우 |
|---|---|---|---|
| 프레임마다 2D CNN + 평균(후기 융합) | 사진 모델을 그대로 쓴다. 3D 보다 가볍다 | 순서와 방향을 못 본다(실험: → 와 ← 가 같다) | 한 장만 봐도 답이 보일 때. 먼저 재 보는 기준선 |
| 3D CNN(C3D) | 한 필터가 시간과 공간을 같이 본다. 2D 보다 시공간 특징을 잘 배운다 | 가중치와 곱셈이 kₜ 배다 | 움직임이 답을 가를 때 |
| 투 스트림 | 움직임을 옵티컬 플로로 바로 준다. 학습 자료가 적어도 잘 된다 | 옵티컬 플로를 따로 구해야 한다. 망이 둘이다 | 학습 자료가 적을 때 |
| I3D | ImageNet 의 구조와 가중치를 다시 쓴다. Kinetics 사전 학습 뒤 HMDB-51 80.9%, UCF-101 98.0% | 3D 라 무겁고, 투 스트림이라 옵티컬 플로도 구한다 | 사전 학습된 2D 망에서 시작하고 싶을 때 |
| SlowFast | 모습과 움직임을 프레임 속도가 다른 두 경로로 나눠 본다. Fast 경로는 채널을 줄여 가볍다 | 경로가 둘이고 τ, α 같은 하이퍼파라미터를 정해야 한다 | 섬세한 움직임이 중요할 때 |
좋은 점·나쁜 점은 아래 출처의 확인한 내용과 이 쪽의 실험·식에서 나온 것이고, 「쓰는 경우」는 그것에서 끌어낸 판단입니다.
어디에 쓰나
- 동작 인식. 비디오 속 사람이 무엇을 하는지 고릅니다. 이 쪽의 출처들은 UCF-101, HMDB-51, Kinetics(사람 동작 400 종류) 같은 동작 인식 자료로 평가합니다.
- 작은 자료의 비디오 분류. 큰 자료(Kinetics)로 사전 학습한 망을 가져와 작은 자료에 맞추는 전이 학습으로 씁니다(5절).
자주 묻는 것
사진 분류 모델로 프레임마다 분류해 평균하면 안 되나요?
할 수 있습니다. 이것이 가장 단순한 후기 융합입니다. 한 장만 봐도 답이 보이는 것이면 이걸로 될 수 있습니다. 하지만 평균은 프레임의 순서를 보지 않아서, 순서만 거꾸로인 두 비디오(앉기와 일어서기처럼)를 가르지 못합니다. 이 쪽의 실험에서 → 클립과 ← 클립의 2D 점수는 똑같이 4 였습니다.
RNN 이나 LSTM 으로 프레임을 차례로 읽으면 안 되나요?
프레임마다 2D CNN 으로 뽑은 특징을 차례로 RNN·LSTM 에 넣으면 평균과 달리 순서를 봅니다. 이 쪽의 출처들은 3D 합성곱과 투 스트림 쪽을 다루고, RNN 쪽과 견준 숫자는 다루지 않아서 여기 적지 않습니다.
학습 자료가 적으면 어떻게 하나요?
출처에 두 가지가 있습니다. 투 스트림 논문은 쌓은 밀집 옵티컬 플로로 학습한 ConvNet 이 학습 자료가 적어도 잘 된다고 보고합니다. I3D 논문은 큰 자료인 Kinetics(사람 동작 400 종류)로 사전 학습한 뒤 HMDB-51 에서 80.9%, UCF-101 에서 98.0% 를 냈습니다. 큰 자료로 배운 것을 작은 자료로 옮기는 것이 전이 학습입니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 비디오의 사진 한 장 · 짧은 토막 | 프레임(frame) · 클립(clip) |
| 비디오 속 사람의 동작 알아보기 | 동작 인식(action recognition), 비디오 분류(video classification) |
| 프레임마다 따로 보고 마지막에 합치기 | 후기 융합(late fusion) |
| 시간으로도 미끄러지는 필터 | 3D 합성곱(3D convolution), 3D 커널(3D kernel) |
| 시간과 공간을 함께 담은 특징 | 시공간 특징(spatiotemporal feature) |
| 프레임 사이에 각 자리가 움직인 방향과 거리 | 옵티컬 플로(optical flow), 밀집 옵티컬 플로(dense optical flow) |
| 모습을 보는 망과 움직임을 보는 망 둘 | 투 스트림(two-stream), 공간 스트림(spatial stream) · 시간 스트림(temporal stream) |
| 2D 필터에 시간 칸을 더해 3D 로 만들기 | 인플레이션(inflation), I3D |
| 드문드문 보는 길 · 촘촘히 보는 가벼운 길 | Slow 경로(Slow pathway) · Fast 경로(Fast pathway) |
| 1 초에 담긴 프레임 수 | 프레임 속도(frame rate) |
| 큰 자료로 먼저 배워 두기 · 그것을 옮겨 쓰기 | 사전 학습(pre-training) · 전이 학습(transfer learning) |
| 가장자리에 두르는 0 · 한 번에 옮기는 칸 수 | 패딩(padding) · 스트라이드(stride) |
출처
- Simonyan, Zisserman. Two-Stream Convolutional Networks for Action Recognition in Videos, 2014(정지 프레임의 모습을 보는 망과 프레임 사이 움직임을 보는 망의 두 줄기 구조, 쌓은 밀집 옵티컬 플로로 학습한 ConvNet 이 학습 자료가 적어도 잘 됨, UCF-101·HMDB-51 평가).
- Tran 외. Learning Spatiotemporal Features with 3D Convolutional Networks(C3D), 2014(3D ConvNet 이 2D ConvNet 보다 시공간 특징을 잘 배움, 모든 층에 3 × 3 × 3 커널을 쓰는 균일한 구조).
- Carreira, Zisserman. Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset(I3D), 2017(Kinetics 사람 동작 400 종류, 2D ConvNet 을 3D 로 부풀려 ImageNet 구조와 가중치를 다시 쓰는 투 스트림 모델, HMDB-51 80.9%·UCF-101 98.0%).
- Feichtenhofer 외. SlowFast Networks for Video Recognition, 2018(낮은 프레임 속도로 공간 내용을 잡는 Slow 경로, 높은 프레임 속도로 섬세한 움직임을 잡는 Fast 경로, 채널을 줄인 가벼운 Fast 경로).