텐서와 모양: 축, shape, 브로드캐스팅

딥러닝 코드에는 「(N, C, H, W)」 같은 모양이 설명 없이 나옵니다. 텐서가 무엇이고 모양이 무엇을 말하는지, 모양이 어떻게 바뀌는지, 모양이 다른 두 텐서를 어떻게 더하는지를 한 축씩 따라가 봅니다.

한 줄 답. 텐서(tensor)는 숫자를 여러 축(axis), 곧 숫자가 늘어선 방향으로 쌓은 것이고, 모양(shape)은 축마다 숫자가 몇 개인지 적은 목록입니다. 스칼라는 축 0 개, 벡터는 1 개, 행렬은 2 개입니다. 원소 수는 모양의 곱이고, 축 하나를 따라 합하면 그 축이 모양에서 빠집니다. 모양이 다른 두 텐서는 브로드캐스팅(broadcasting), 곧 맨 뒤 축부터 비교해 크기가 같거나 한쪽이 1 이면 늘려 맞추는 규칙으로 계산합니다.

위 표는 두 모양을 오른쪽 끝에 맞춰 세운 것이고, 주황 상자가 지금 비교하는 축입니다. 아래 그림은 맨 뒤 두 축만 칸으로 그립니다. A 의 칸에는 1, 2, 3 …, B 의 칸에는 10, 20, 30 … 을 지어 넣었습니다. 점선 칸은 크기 1 인 축을 늘려 생긴 복사본입니다. 축마다 6 칸까지만 그리고, 숫자는 결과가 두 자리일 때만 적습니다. 모양은 칸에 직접 적어도 됩니다(축 1 ~ 5 개, 크기 1 ~ 999).

해 볼 것. ① 처음 그대로 (3, 1) + (1, 4) 에서 「다음」을 세 번 누르면: 맨 뒤 축은 1 과 4 라 A 를 4 로 늘리고, 그 앞 축은 3 과 1 이라 B 를 3 으로 늘립니다. 결과는 (3, 4), 원소 12 개, 칸 값은 11 ~ 43 입니다. ② (8, 1, 6, 1) + (7, 1, 5) 는 네 번 비교한 끝에 (8, 7, 6, 5), 원소 1,680 개입니다. 넷째 축은 B 에 없어서 1 로 봅니다. ③ (4, 3) + (4,) 는 첫 비교(3 과 4)에서 멈춥니다. ④ (4,) + (4, 1) 은 오류 없이 (4, 4) 가 됩니다(6절).

1. 텐서란: 숫자를 여러 축으로 쌓은 것

숫자 하나는 스칼라(scalar), 숫자를 한 줄로 늘어놓으면 벡터, 행과 열로 늘어놓으면 행렬입니다. 행렬을 여러 장 쌓을 수도 있고, 그것을 또 쌓을 수도 있습니다. 숫자가 늘어선 방향 하나하나가 축이고, 축이 몇 개든 통틀어 텐서라고 부릅니다. 축에는 앞에서부터 0, 1, 2 … 번호를 붙입니다.

모양은 축마다 숫자가 몇 개 늘어섰는지를 축 0 부터 적은 목록입니다. 2 행 3 열 행렬의 모양은 (2, 3) 입니다. 원소가 4 개인 벡터는 (4,) 로 적고(쉼표는 축이 하나라는 표시), 스칼라는 축이 없으니 () 입니다.

스칼라벡터행렬텐서(축 3 개) 7 3141 123 456 789 101112 축 0 축 0축 1 축 0축 1축 2 ()(4,)(2, 3)(2, 2, 3) 축 0 개축 1 개축 2 개축 3 개
모양은 축 0 부터 적습니다. 오른쪽 텐서는 2 × 3 행렬 두 장(뒤의 초록 1 ~ 6, 앞의 파랑 7 ~ 12)을 쌓은 것이라 축 0 의 크기가 2 입니다. 원소 수는 2 × 2 × 3 = 12 입니다.

축의 수를 차원 수라고 합니다(NumPy 의 ndim). 랭크(rank)라고 부르는 문서도 있는데, 이것은 행렬의 랭크(서로 독립인 열의 수)와 다른 뜻입니다. 모양 (2, 3) 행렬은 축이 늘 2 개이지만, 행렬의 랭크는 값에 따라 1 일 수도 2 일 수도 있습니다.

한 텐서의 원소는 모두 한 가지 자료형(dtype)입니다. PyTorch 문서는 torch.Tensor 를 「한 가지 자료형의 원소를 담는 다차원 행렬」이라고 적고, 자료형은 만들 때 정하고 to() 로 바꾼다고 적습니다.

2. 실제 자료의 모양

자료모양축의 뜻
흑백 사진 한 장(H, W)높이(행 수) H, 너비(열 수) W. 칸마다 밝기 하나
컬러 사진 한 장(H, W, 3) 또는 (3, H, W)칸마다 빨강·초록·파랑 세 값. 이 축을 채널(channel)이라 부른다
사진의 배치(N, C, H, W)사진 N 장을 한 번에. C 는 채널 수(컬러면 3, 흑백이면 1)
문장 배치의 임베딩(B, T, D)문장 B 개, 문장마다 토큰 T 개, 토큰마다 숫자 D 개짜리 임베딩 벡터

예를 들어 28 × 28 흑백 사진 64 장의 배치는 (64, 1, 28, 28) 이고 원소는 64 × 1 × 28 × 28 = 50,176 개입니다. 합성곱 층은 이런 사진 배치를 받고, 어텐션은 (B, T, D) 위에서 토큰끼리 계산합니다.

채널 축이 앞에 오느냐(channels-first, (C, H, W)) 뒤에 오느냐(channels-last, (H, W, C))는 라이브러리와 자료 형식마다 다릅니다. 쓰는 라이브러리의 문서에서 확인합니다. 둘을 바꾸는 법은 3절에 있습니다.

3. 원소 수, reshape, 전치

원소 수 = d₀ × d₁ × … × dₙ₋₁

reshape 은 원소를 한 줄로 늘어놓은 순서(맨 뒤 축의 번호가 가장 빨리 바뀌는 순서)를 그대로 두고 축만 다시 나눕니다. 그래서 원소 수가 같아야 합니다. (2, 3) 은 (3, 2), (6,), (1, 6) 으로 바꿀 수 있지만 (4, 2) 로는 못 바꿉니다(6 ≠ 8).

전치(transpose)는 축의 순서를 바꿉니다. 행렬이면 행과 열이 뒤바뀌고, 축이 셋 이상이면 새 순서를 직접 적습니다(NumPy 의 transpose, PyTorch 의 permute). 같은 (2, 3) 에서 둘 다 모양 (3, 2) 를 낼 수 있지만, 원소의 자리가 다릅니다.

a  (2, 3)      a.reshape(3, 2)      a.T  (전치, (3, 2))
1 2 3          1 2                  1 4
4 5 6          3 4                  2 5
               5 6                  3 6

reshape 은 1, 2, 3, 4, 5, 6 을 읽은 순서대로 두 개씩 끊었고, 전치는 열을 행으로 세웠습니다. 사진 (H, W, 3) 을 (3, H, W) 로 바꿀 때는 축 순서를 바꾸는 transpose(2, 0, 1) 을 씁니다. reshape(3, H, W) 도 같은 모양을 내지만 빨강·초록·파랑 값이 뒤섞입니다.

import numpy as np

a = np.arange(1, 7).reshape(2, 3)   # [[1 2 3] [4 5 6]]
print(a.shape, a.ndim, a.size)      # (2, 3) 2 6
print(a.reshape(3, 2))              # [[1 2] [3 4] [5 6]]
print(a.T)                          # [[1 4] [2 5] [3 6]]
img = np.zeros((32, 48, 3))         # (H, W, 3)
print(img.transpose(2, 0, 1).shape) # (3, 32, 48): 축 순서를 바꾼다

4. 축을 따라 줄이기: 합과 평균

합이나 평균을 「축 k 를 따라」 내면, 축 k 의 번호만 다르고 나머지 번호가 같은 원소들이 값 하나로 모입니다. 그래서 축 k 가 모양에서 빠집니다. 이런 계산을 리덕션(reduction)이라 부릅니다.

모양 (d₀, …, dₖ, …, dₙ₋₁)   ── 축 k 를 따라 합 ──▶   (d₀, …, dₖ₋₁, dₖ₊₁, …, dₙ₋₁)

텐서는 1 ~ 24 를 모양 (2, 3, 4) 로 쌓은 지어낸 것입니다. 같은 색 칸들이 오른쪽 결과의 같은 색 한 칸으로 모입니다. 주황 테두리는 결과의 첫 칸으로 모이는 칸들입니다.

해 볼 것. ① 축 0, 합: 두 장의 같은 자리가 모여 (3, 4) 가 되고, 첫 칸은 1 + 13 = 14 입니다. ② 축 1, 합: 장마다 세로 열 3 칸이 모여 (2, 4), 첫 칸은 1 + 5 + 9 = 15 입니다. ③ 축 2, 평균: 장마다 가로 행 4 칸이 모여 (2, 3), 첫 칸은 (1 + 2 + 3 + 4) ÷ 4 = 2.5 입니다. 어느 축으로 합해도 결과를 모두 더하면 300 입니다.

배치 정규화와 레이어 정규화가 다른 것도 이것입니다. 행이 자료, 열이 특징인 (N, D) 에서 배치 정규화는 축 0(배치)을 따라 평균을 내 특징마다 하나씩, 모양 (D,) 를 얻습니다. 레이어 정규화는 축 1(특징)을 따라 평균을 내 자료마다 하나씩, 모양 (N,) 을 얻습니다.

5. 브로드캐스팅: 모양이 다른 두 텐서 계산하기

모양이 다른 두 텐서를 더하거나 곱하려면 모양을 맞춰야 합니다. NumPy 문서의 규칙은 이렇습니다.

  1. 두 모양을 맨 뒤(오른쪽) 축부터 하나씩 비교합니다.
  2. 두 크기가 같거나 한쪽이 1 이면 맞습니다. 크기 1 인 쪽은 다른 쪽 크기만큼 같은 값을 되풀이한 것처럼 늘어납니다.
  3. 차원 수가 달라도 됩니다. 한쪽에 없는 축은 크기 1 로 봅니다.
  4. 결과의 각 축은 두 크기 가운데 큰 쪽입니다. 한 축이라도 안 맞으면 ValueError: operands could not be broadcast together 가 납니다.
결과 축의 크기 = max(a, b)     (a = b, 또는 a = 1, 또는 b = 1 일 때. 아니면 오류)

손으로 풀어 보기.

  1. (3, 1) + (1, 4). 맨 뒤 축 1 과 4 → 4, 그 앞 축 3 과 1 → 3. 결과 (3, 4). A 의 열 [1, 2, 3] 이 오른쪽으로 네 번, B 의 행 [10, 20, 30, 40] 이 아래로 세 번 되풀이된 것처럼 더해져 11 ~ 43 이 됩니다.
  2. (256, 256, 3) × (3,). 맨 뒤 축 3 과 3 이 같고, 앞의 두 축은 B 에 없어 1 로 봅니다. 결과 (256, 256, 3). 컬러 사진의 칸마다 빨강·초록·파랑에 서로 다른 수를 곱하는 셈입니다.
  3. (4, 3) + (4,). 맨 뒤 축 3 과 4 가 같지 않고 어느 쪽도 1 이 아닙니다. 첫 비교에서 오류입니다.
print((np.ones((3, 1)) + np.ones((1, 4))).shape)     # (3, 4)
print((np.ones((256, 256, 3)) * np.ones(3)).shape)   # (256, 256, 3)
np.ones((4, 3)) + np.ones(4)                         # ValueError: operands could not be broadcast together ...

6. 틀리기 쉬운 점

  1. 모양은 맞는데 뜻이 틀린 연산. (4,) 와 (4, 1) 을 더하면 오류 없이 (4, 4) 가 나옵니다. 맨 뒤 축은 4 와 1 이고, 그 앞 축은 (4,) 에 없어 1 로 보기 때문입니다. 원소 4 개끼리 더한 (4,) 를 바랐다면 틀린 답이 오류 없이 나온 것입니다. 실험 ① 의 마지막 단추로 걸음을 볼 수 있습니다.
  2. 줄인 축이 빠져서 어긋남. (N, D) 자료에서 자료마다의 평균(축 1)을 빼려고 x - x.mean(axis=1) 을 쓰면, 평균의 모양이 (N,) 이라 맨 뒤 축에서 D 와 N 을 비교합니다. N ≠ D 면 오류가 나고, N = D 면 오류 없이 엉뚱한 값을 뺍니다. 평균을 (N, 1) 로 두면(keepdims=True, 또는 reshape(N, 1)) 축이 맞습니다.
  3. 축 순서 헷갈림. 축 순서를 바꾼다면서 reshape 을 쓰면 원소 수가 같아 오류 없이 지나가고 값만 뒤섞입니다. 축 순서는 전치(transpose, permute)로 바꾸고, 코드에 모양을 주석으로 적어 둡니다.

7. 수학·물리의 텐서와는

수학과 물리에서 텐서는 좌표계를 바꿀 때 정해진 규칙에 따라 성분이 바뀌는 양을 말합니다. 그 성분을 여러 축의 배열로 적을 수는 있지만, 배열이라고 다 그런 텐서인 것은 아닙니다. 딥러닝 라이브러리는 이 변환 규칙을 따지지 않고 「여러 축으로 쌓은 숫자 배열」이라는 뜻으로 텐서라는 말을 씁니다. 이 쪽도 그 뜻으로만 씁니다.

8. 언제 무엇을 쓰나

선택지좋은 점나쁜 점쓰는 경우
reshape원소의 순서를 그대로 두고 축만 다시 나눈다축 순서를 바꾸는 데 쓰면 모양만 맞고 값이 뒤섞인다축을 펼치거나 나눌 때: (N, C, H, W) → (N, C × H × W)
전치(transpose, permute)축의 뜻을 지키며 순서만 바꾼다축이 많으면 어느 번호가 무엇인지 헷갈린다(H, W, 3) ↔ (3, H, W) 처럼 채널을 앞뒤로 옮길 때
축을 따라 합·평균한 축을 값 하나로 요약한다그 축이 모양에서 빠져 뒤 계산의 축이 어긋날 수 있다(6절)배치 평균, 토큰 평균, 정규화의 평균
크기 1 축 넣기((4,) → (4, 1), keepdims=True)브로드캐스팅이 어느 방향으로 늘어날지 분명히 정한다잊기 쉽다. 잊어도 오류가 안 날 수 있다행마다·열마다 다른 값을 빼거나 더할 때
브로드캐스팅반복문이나 손으로 복사하는 코드 없이 모양이 다른 텐서끼리 계산한다모양이 우연히 맞으면 틀린 계산도 오류 없이 돈다채널마다 다른 수를 곱하기, 모든 자료에 같은 벡터 더하기

어디에 쓰나

자주 묻는 것

텐서와 NumPy 배열은 다른가요?

이 쪽에서 쓰는 뜻(한 가지 자료형의 원소를 여러 축으로 쌓은 것)으로는 같은 것을 가리킵니다. 라이브러리마다 붙은 기능과 함수 이름은 다르니, 브로드캐스팅 같은 규칙은 쓰는 라이브러리의 문서에서 확인합니다. 이 쪽의 규칙은 NumPy 문서로 확인한 것입니다.

「차원」이라는 말이 헷갈립니다.

원소가 4 개인 벡터를 「4 차원 벡터」라고도, 모양 (4,) 의 「1 차원 배열」이라고도 부릅니다. 앞의 차원은 원소 수(벡터 공간의 차원)이고, 뒤의 차원은 축의 수입니다. 모양을 적으면 헷갈리지 않습니다.

(N, C, H, W) 와 (N, H, W, C) 가운데 무엇을 써야 하나요?

쓰는 라이브러리와 모델이 기대하는 순서를 그 문서에서 확인하고 따릅니다. 바꿔야 하면 전치(transpose, permute)로 축 순서를 바꿉니다. reshape 은 모양만 맞추고 값을 뒤섞습니다.

낱말

여기서 쓴 말책에서 부르는 말
숫자를 여러 축으로 쌓은 것텐서(tensor), 다차원 배열(n-dimensional array)
숫자가 늘어선 방향축(axis)
축마다의 크기 목록모양(shape)
축의 수차원 수(number of dimensions, ndim), 랭크(rank). 행렬의 랭크와 다른 뜻
숫자 하나 · 한 줄 · 행과 열스칼라(scalar) · 벡터(vector) · 행렬(matrix)
칸 하나의 숫자 · 그 개수원소(element) · 원소 수(size)
칸마다의 색 값이 늘어선 축채널(channel), channels-first · channels-last
한 번에 넣는 자료 여러 개배치(batch)
축을 다시 나누기 · 축 순서 바꾸기reshape · 전치(transpose), permute
축을 따라 합·평균 내기리덕션(reduction)
모양이 다른 텐서끼리 계산하기브로드캐스팅(broadcasting)
원소의 종류(정수, 실수 …)자료형(data type, dtype)

출처

← 행렬 곱셈선형변환 →