텐서와 모양: 축, shape, 브로드캐스팅
딥러닝 코드에는 「(N, C, H, W)」 같은 모양이 설명 없이 나옵니다. 텐서가 무엇이고 모양이 무엇을 말하는지, 모양이 어떻게 바뀌는지, 모양이 다른 두 텐서를 어떻게 더하는지를 한 축씩 따라가 봅니다.
한 줄 답. 텐서(tensor)는 숫자를 여러 축(axis), 곧 숫자가 늘어선 방향으로 쌓은 것이고, 모양(shape)은 축마다 숫자가 몇 개인지 적은 목록입니다. 스칼라는 축 0 개, 벡터는 1 개, 행렬은 2 개입니다. 원소 수는 모양의 곱이고, 축 하나를 따라 합하면 그 축이 모양에서 빠집니다. 모양이 다른 두 텐서는 브로드캐스팅(broadcasting), 곧 맨 뒤 축부터 비교해 크기가 같거나 한쪽이 1 이면 늘려 맞추는 규칙으로 계산합니다.
위 표는 두 모양을 오른쪽 끝에 맞춰 세운 것이고, 주황 상자가 지금 비교하는 축입니다. 아래 그림은 맨 뒤 두 축만 칸으로 그립니다. A 의 칸에는 1, 2, 3 …, B 의 칸에는 10, 20, 30 … 을 지어 넣었습니다. 점선 칸은 크기 1 인 축을 늘려 생긴 복사본입니다. 축마다 6 칸까지만 그리고, 숫자는 결과가 두 자리일 때만 적습니다. 모양은 칸에 직접 적어도 됩니다(축 1 ~ 5 개, 크기 1 ~ 999).
해 볼 것. ① 처음 그대로 (3, 1) + (1, 4) 에서 「다음」을 세 번 누르면: 맨 뒤 축은 1 과 4 라 A 를 4 로 늘리고, 그 앞 축은 3 과 1 이라 B 를 3 으로 늘립니다. 결과는 (3, 4), 원소 12 개, 칸 값은 11 ~ 43 입니다. ② (8, 1, 6, 1) + (7, 1, 5) 는 네 번 비교한 끝에 (8, 7, 6, 5), 원소 1,680 개입니다. 넷째 축은 B 에 없어서 1 로 봅니다. ③ (4, 3) + (4,) 는 첫 비교(3 과 4)에서 멈춥니다. ④ (4,) + (4, 1) 은 오류 없이 (4, 4) 가 됩니다(6절).
1. 텐서란: 숫자를 여러 축으로 쌓은 것
숫자 하나는 스칼라(scalar), 숫자를 한 줄로 늘어놓으면 벡터, 행과 열로 늘어놓으면 행렬입니다. 행렬을 여러 장 쌓을 수도 있고, 그것을 또 쌓을 수도 있습니다. 숫자가 늘어선 방향 하나하나가 축이고, 축이 몇 개든 통틀어 텐서라고 부릅니다. 축에는 앞에서부터 0, 1, 2 … 번호를 붙입니다.
모양은 축마다 숫자가 몇 개 늘어섰는지를 축 0 부터 적은 목록입니다. 2 행 3 열 행렬의 모양은 (2, 3) 입니다. 원소가 4 개인 벡터는 (4,) 로 적고(쉼표는 축이 하나라는 표시), 스칼라는 축이 없으니 () 입니다.
축의 수를 차원 수라고 합니다(NumPy 의 ndim). 랭크(rank)라고 부르는 문서도 있는데, 이것은 행렬의 랭크(서로 독립인 열의 수)와 다른 뜻입니다. 모양 (2, 3) 행렬은 축이 늘 2 개이지만, 행렬의 랭크는 값에 따라 1 일 수도 2 일 수도 있습니다.
한 텐서의 원소는 모두 한 가지 자료형(dtype)입니다. PyTorch 문서는 torch.Tensor 를 「한 가지 자료형의 원소를 담는 다차원 행렬」이라고 적고, 자료형은 만들 때 정하고 to() 로 바꾼다고 적습니다.
2. 실제 자료의 모양
| 자료 | 모양 | 축의 뜻 |
|---|---|---|
| 흑백 사진 한 장 | (H, W) | 높이(행 수) H, 너비(열 수) W. 칸마다 밝기 하나 |
| 컬러 사진 한 장 | (H, W, 3) 또는 (3, H, W) | 칸마다 빨강·초록·파랑 세 값. 이 축을 채널(channel)이라 부른다 |
| 사진의 배치 | (N, C, H, W) | 사진 N 장을 한 번에. C 는 채널 수(컬러면 3, 흑백이면 1) |
| 문장 배치의 임베딩 | (B, T, D) | 문장 B 개, 문장마다 토큰 T 개, 토큰마다 숫자 D 개짜리 임베딩 벡터 |
예를 들어 28 × 28 흑백 사진 64 장의 배치는 (64, 1, 28, 28) 이고 원소는 64 × 1 × 28 × 28 = 50,176 개입니다. 합성곱 층은 이런 사진 배치를 받고, 어텐션은 (B, T, D) 위에서 토큰끼리 계산합니다.
채널 축이 앞에 오느냐(channels-first, (C, H, W)) 뒤에 오느냐(channels-last, (H, W, C))는 라이브러리와 자료 형식마다 다릅니다. 쓰는 라이브러리의 문서에서 확인합니다. 둘을 바꾸는 법은 3절에 있습니다.
3. 원소 수, reshape, 전치
원소 수 = d₀ × d₁ × … × dₙ₋₁
n: 축의 수(차원 수).dᵢ: i 번 축의 크기. 축 번호는 0 부터 셉니다.
reshape 은 원소를 한 줄로 늘어놓은 순서(맨 뒤 축의 번호가 가장 빨리 바뀌는 순서)를 그대로 두고 축만 다시 나눕니다. 그래서 원소 수가 같아야 합니다. (2, 3) 은 (3, 2), (6,), (1, 6) 으로 바꿀 수 있지만 (4, 2) 로는 못 바꿉니다(6 ≠ 8).
전치(transpose)는 축의 순서를 바꿉니다. 행렬이면 행과 열이 뒤바뀌고, 축이 셋 이상이면 새 순서를 직접 적습니다(NumPy 의 transpose, PyTorch 의 permute). 같은 (2, 3) 에서 둘 다 모양 (3, 2) 를 낼 수 있지만, 원소의 자리가 다릅니다.
a (2, 3) a.reshape(3, 2) a.T (전치, (3, 2))
1 2 3 1 2 1 4
4 5 6 3 4 2 5
5 6 3 6
reshape 은 1, 2, 3, 4, 5, 6 을 읽은 순서대로 두 개씩 끊었고, 전치는 열을 행으로 세웠습니다. 사진 (H, W, 3) 을 (3, H, W) 로 바꿀 때는 축 순서를 바꾸는 transpose(2, 0, 1) 을 씁니다. reshape(3, H, W) 도 같은 모양을 내지만 빨강·초록·파랑 값이 뒤섞입니다.
import numpy as np
a = np.arange(1, 7).reshape(2, 3) # [[1 2 3] [4 5 6]]
print(a.shape, a.ndim, a.size) # (2, 3) 2 6
print(a.reshape(3, 2)) # [[1 2] [3 4] [5 6]]
print(a.T) # [[1 4] [2 5] [3 6]]
img = np.zeros((32, 48, 3)) # (H, W, 3)
print(img.transpose(2, 0, 1).shape) # (3, 32, 48): 축 순서를 바꾼다
4. 축을 따라 줄이기: 합과 평균
합이나 평균을 「축 k 를 따라」 내면, 축 k 의 번호만 다르고 나머지 번호가 같은 원소들이 값 하나로 모입니다. 그래서 축 k 가 모양에서 빠집니다. 이런 계산을 리덕션(reduction)이라 부릅니다.
모양 (d₀, …, dₖ, …, dₙ₋₁) ── 축 k 를 따라 합 ──▶ (d₀, …, dₖ₋₁, dₖ₊₁, …, dₙ₋₁)
k: 줄이는 축의 번호.dₖ: 그 축의 크기. 결과의 칸 하나에 원소 dₖ 개가 모입니다. 평균은 그 합을 dₖ 로 나눈 값입니다.
텐서는 1 ~ 24 를 모양 (2, 3, 4) 로 쌓은 지어낸 것입니다. 같은 색 칸들이 오른쪽 결과의 같은 색 한 칸으로 모입니다. 주황 테두리는 결과의 첫 칸으로 모이는 칸들입니다.
해 볼 것. ① 축 0, 합: 두 장의 같은 자리가 모여 (3, 4) 가 되고, 첫 칸은 1 + 13 = 14 입니다. ② 축 1, 합: 장마다 세로 열 3 칸이 모여 (2, 4), 첫 칸은 1 + 5 + 9 = 15 입니다. ③ 축 2, 평균: 장마다 가로 행 4 칸이 모여 (2, 3), 첫 칸은 (1 + 2 + 3 + 4) ÷ 4 = 2.5 입니다. 어느 축으로 합해도 결과를 모두 더하면 300 입니다.
배치 정규화와 레이어 정규화가 다른 것도 이것입니다. 행이 자료, 열이 특징인 (N, D) 에서 배치 정규화는 축 0(배치)을 따라 평균을 내 특징마다 하나씩, 모양 (D,) 를 얻습니다. 레이어 정규화는 축 1(특징)을 따라 평균을 내 자료마다 하나씩, 모양 (N,) 을 얻습니다.
5. 브로드캐스팅: 모양이 다른 두 텐서 계산하기
모양이 다른 두 텐서를 더하거나 곱하려면 모양을 맞춰야 합니다. NumPy 문서의 규칙은 이렇습니다.
- 두 모양을 맨 뒤(오른쪽) 축부터 하나씩 비교합니다.
- 두 크기가 같거나 한쪽이 1 이면 맞습니다. 크기 1 인 쪽은 다른 쪽 크기만큼 같은 값을 되풀이한 것처럼 늘어납니다.
- 차원 수가 달라도 됩니다. 한쪽에 없는 축은 크기 1 로 봅니다.
- 결과의 각 축은 두 크기 가운데 큰 쪽입니다. 한 축이라도 안 맞으면
ValueError: operands could not be broadcast together가 납니다.
결과 축의 크기 = max(a, b) (a = b, 또는 a = 1, 또는 b = 1 일 때. 아니면 오류)
a,b: 두 모양에서 뒤에서 같은 번째 자리에 있는 축의 크기. 한쪽에 그 축이 없으면 1.max: 둘 가운데 큰 값.
손으로 풀어 보기.
- (3, 1) + (1, 4). 맨 뒤 축 1 과 4 → 4, 그 앞 축 3 과 1 → 3. 결과 (3, 4). A 의 열 [1, 2, 3] 이 오른쪽으로 네 번, B 의 행 [10, 20, 30, 40] 이 아래로 세 번 되풀이된 것처럼 더해져 11 ~ 43 이 됩니다.
- (256, 256, 3) × (3,). 맨 뒤 축 3 과 3 이 같고, 앞의 두 축은 B 에 없어 1 로 봅니다. 결과 (256, 256, 3). 컬러 사진의 칸마다 빨강·초록·파랑에 서로 다른 수를 곱하는 셈입니다.
- (4, 3) + (4,). 맨 뒤 축 3 과 4 가 같지 않고 어느 쪽도 1 이 아닙니다. 첫 비교에서 오류입니다.
print((np.ones((3, 1)) + np.ones((1, 4))).shape) # (3, 4)
print((np.ones((256, 256, 3)) * np.ones(3)).shape) # (256, 256, 3)
np.ones((4, 3)) + np.ones(4) # ValueError: operands could not be broadcast together ...
6. 틀리기 쉬운 점
- 모양은 맞는데 뜻이 틀린 연산. (4,) 와 (4, 1) 을 더하면 오류 없이 (4, 4) 가 나옵니다. 맨 뒤 축은 4 와 1 이고, 그 앞 축은 (4,) 에 없어 1 로 보기 때문입니다. 원소 4 개끼리 더한 (4,) 를 바랐다면 틀린 답이 오류 없이 나온 것입니다. 실험 ① 의 마지막 단추로 걸음을 볼 수 있습니다.
- 줄인 축이 빠져서 어긋남.
(N, D)자료에서 자료마다의 평균(축 1)을 빼려고x - x.mean(axis=1)을 쓰면, 평균의 모양이 (N,) 이라 맨 뒤 축에서 D 와 N 을 비교합니다. N ≠ D 면 오류가 나고, N = D 면 오류 없이 엉뚱한 값을 뺍니다. 평균을 (N, 1) 로 두면(keepdims=True, 또는reshape(N, 1)) 축이 맞습니다. - 축 순서 헷갈림. 축 순서를 바꾼다면서 reshape 을 쓰면 원소 수가 같아 오류 없이 지나가고 값만 뒤섞입니다. 축 순서는 전치(
transpose,permute)로 바꾸고, 코드에 모양을 주석으로 적어 둡니다.
7. 수학·물리의 텐서와는
수학과 물리에서 텐서는 좌표계를 바꿀 때 정해진 규칙에 따라 성분이 바뀌는 양을 말합니다. 그 성분을 여러 축의 배열로 적을 수는 있지만, 배열이라고 다 그런 텐서인 것은 아닙니다. 딥러닝 라이브러리는 이 변환 규칙을 따지지 않고 「여러 축으로 쌓은 숫자 배열」이라는 뜻으로 텐서라는 말을 씁니다. 이 쪽도 그 뜻으로만 씁니다.
8. 언제 무엇을 쓰나
| 선택지 | 좋은 점 | 나쁜 점 | 쓰는 경우 |
|---|---|---|---|
| reshape | 원소의 순서를 그대로 두고 축만 다시 나눈다 | 축 순서를 바꾸는 데 쓰면 모양만 맞고 값이 뒤섞인다 | 축을 펼치거나 나눌 때: (N, C, H, W) → (N, C × H × W) |
전치(transpose, permute) | 축의 뜻을 지키며 순서만 바꾼다 | 축이 많으면 어느 번호가 무엇인지 헷갈린다 | (H, W, 3) ↔ (3, H, W) 처럼 채널을 앞뒤로 옮길 때 |
| 축을 따라 합·평균 | 한 축을 값 하나로 요약한다 | 그 축이 모양에서 빠져 뒤 계산의 축이 어긋날 수 있다(6절) | 배치 평균, 토큰 평균, 정규화의 평균 |
크기 1 축 넣기((4,) → (4, 1), keepdims=True) | 브로드캐스팅이 어느 방향으로 늘어날지 분명히 정한다 | 잊기 쉽다. 잊어도 오류가 안 날 수 있다 | 행마다·열마다 다른 값을 빼거나 더할 때 |
| 브로드캐스팅 | 반복문이나 손으로 복사하는 코드 없이 모양이 다른 텐서끼리 계산한다 | 모양이 우연히 맞으면 틀린 계산도 오류 없이 돈다 | 채널마다 다른 수를 곱하기, 모든 자료에 같은 벡터 더하기 |
어디에 쓰나
- 사진. 합성곱 층은
(N, C, H, W)같은 사진 배치를 받습니다. 맨 앞 축 N 이 배치 크기입니다. - 문장. 임베딩과 어텐션은
(B, T, D)위에서 계산합니다. - 정규화. 어느 축으로 평균을 내느냐가 배치 정규화와 레이어 정규화를 가릅니다(4절).
- 행렬 곱셈. 축 2 개짜리 텐서끼리의 곱이 행렬 곱셈입니다.
자주 묻는 것
텐서와 NumPy 배열은 다른가요?
이 쪽에서 쓰는 뜻(한 가지 자료형의 원소를 여러 축으로 쌓은 것)으로는 같은 것을 가리킵니다. 라이브러리마다 붙은 기능과 함수 이름은 다르니, 브로드캐스팅 같은 규칙은 쓰는 라이브러리의 문서에서 확인합니다. 이 쪽의 규칙은 NumPy 문서로 확인한 것입니다.
「차원」이라는 말이 헷갈립니다.
원소가 4 개인 벡터를 「4 차원 벡터」라고도, 모양 (4,) 의 「1 차원 배열」이라고도 부릅니다. 앞의 차원은 원소 수(벡터 공간의 차원)이고, 뒤의 차원은 축의 수입니다. 모양을 적으면 헷갈리지 않습니다.
(N, C, H, W) 와 (N, H, W, C) 가운데 무엇을 써야 하나요?
쓰는 라이브러리와 모델이 기대하는 순서를 그 문서에서 확인하고 따릅니다. 바꿔야 하면 전치(transpose, permute)로 축 순서를 바꿉니다. reshape 은 모양만 맞추고 값을 뒤섞습니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 숫자를 여러 축으로 쌓은 것 | 텐서(tensor), 다차원 배열(n-dimensional array) |
| 숫자가 늘어선 방향 | 축(axis) |
| 축마다의 크기 목록 | 모양(shape) |
| 축의 수 | 차원 수(number of dimensions, ndim), 랭크(rank). 행렬의 랭크와 다른 뜻 |
| 숫자 하나 · 한 줄 · 행과 열 | 스칼라(scalar) · 벡터(vector) · 행렬(matrix) |
| 칸 하나의 숫자 · 그 개수 | 원소(element) · 원소 수(size) |
| 칸마다의 색 값이 늘어선 축 | 채널(channel), channels-first · channels-last |
| 한 번에 넣는 자료 여러 개 | 배치(batch) |
| 축을 다시 나누기 · 축 순서 바꾸기 | reshape · 전치(transpose), permute |
| 축을 따라 합·평균 내기 | 리덕션(reduction) |
| 모양이 다른 텐서끼리 계산하기 | 브로드캐스팅(broadcasting) |
| 원소의 종류(정수, 실수 …) | 자료형(data type, dtype) |
출처
- NumPy 사용자 안내: Broadcasting(맨 뒤 축부터 비교, 같거나 한쪽이 1 이면 맞음, 빠진 축은 크기 1, 결과 축은 큰 쪽, 실패 때의
ValueError, 256 × 256 × 3 과 원소 3 개 배열, 8 × 1 × 6 × 1 과 7 × 1 × 5, (4, 3) 과 (4,) 의 예). - PyTorch 문서: torch.Tensor(한 가지 자료형의 원소를 담는 다차원 행렬, 자료형은 만들 때 정하고
to()로 바꿈).