하이퍼파라미터 찾기: 그리드 서치와 랜덤 서치
학습률을 0.01 로 할까 0.001 로 할까. 이런 값은 학습이 정해 주지 않습니다. 여러 값을 해 보고 검증 점수가 가장 좋은 것을 고릅니다. 같은 9번을 해 볼 때, 값을 줄 세워 모두 해 보는 것과 아무렇게나 뽑는 것이 무엇을 다르게 보는지 한 걸음씩 보세요.
한 줄 답. 하이퍼파라미터는 학습이 스스로 정하지 못해 사람이 밖에서 주는 설정값입니다(학습률, 감쇠 세기, 층 수). 여러 값을 시도해 검증 점수가 가장 좋은 것을 고릅니다. 값을 줄 세워 모든 조합을 해 보는 그리드 서치(grid search)와, 범위에서 아무렇게나 뽑는 랜덤 서치(random search)가 있습니다. 고르는 데 쓴 점수는 부풀어 있으니, 성능은 찾기에 쓰지 않은 자료로 다시 잽니다.
가로는 하이퍼파라미터 A(학습률), 세로는 하이퍼파라미터 B(감쇠 세기)이고 둘 다 로그 스케일(log scale)입니다. 초록 색 띠는 지어낸 검증 점수이고(식은 3절), 띠 하나가 0.05, 진할수록 높습니다. 띠가 거의 세로로 서 있는 것은 이 점수가 A 에만 민감하고 B 에는 거의 상관없기 때문입니다. 검은 점은 지난 시도, 주황 점은 이번 시도, 초록 고리는 지금까지의 최고입니다. 아래 띠와 왼쪽 띠에는 축마다 찍힌 값이 짧은 선으로 떨어집니다. 주황 화살표는 이번 시도의 A 가 아래 띠의 어디에 떨어지는지 가리킵니다.
해 볼 것. ① 「그리드 서치」에서 「다음」을 세 번 누르면 A 의 3값(10⁻⁴, 10⁻², 1)이 모두 나옵니다. 그 뒤 여섯 번은 화살표가 이미 있는 선에 닿아, A 는 끝까지 3가지입니다. 최고는 시도 5(A = 0.01, B = 0.001)의 0.84 입니다. ② 「랜덤 서치」로 바꿔 아홉 번 누르면 화살표가 매번 새 자리에 닿아 A 가 9가지가 됩니다. 시도 5 에서 A = 0.005 로 0.86, 시도 6 에서 0.88 이 나와 최고가 됩니다. ③ 그리드 서치가 B 에 쓴 세 줄은 점수를 거의 바꾸지 못했습니다(시도 2, 5, 8 은 A 가 같고 점수는 0.80, 0.84, 0.80). 랜덤 서치는 B 를 뽑는 동안에도 A 의 새 값을 봤습니다. ④ 이 화면은 시드 1 입니다. 시드 1 ~ 200 으로 랜덤 서치 9점을 200번 뽑으면 최고 점수의 평균은 0.86 이고, 200번 가운데 159번이 그리드 서치의 0.84 보다 높습니다. 나머지 41번은 그리드 서치가 낫거나 같습니다.
1. 하이퍼파라미터: 학습이 정하지 못하는 설정값
학습은 가중치를 정합니다. 그런데 학습을 어떻게 할지는 학습이 정하지 못합니다. 한 걸음에 얼마나 움직일지(학습률), 가중치를 얼마나 줄일지(감쇠 세기), 층을 몇 개 둘지 같은 값입니다. scikit-learn 사용자 안내는 이렇게 적습니다: 「Hyper-parameters are parameters that are not directly learnt within estimators.」 scikit-learn 에서는 모델을 만들 때 인자로 넘깁니다.
고르는 기준은 검증 점수입니다. 후보마다 학습을 끝까지 하고, 학습에 쓰지 않은 검증 세트로 점수를 잽니다. 학습·검증·테스트의 역할은 자료 나누기 1절에 있습니다. 가중치 감쇠 쪽의 「10 배씩 몇 개를 해 보고 검증 오차로 고릅니다」가 바로 이 일이고, 이 쪽은 그 「몇 개를 어떻게 고르나」를 다룹니다. 학습 중에 학습률을 바꾸는 규칙은 학습률 스케줄 쪽에 있습니다.
2. 찾기의 다섯 가지 재료
사용자 안내는 찾기 하나가 다섯 가지로 이뤄진다고 적습니다: 「A search consists of: an estimator …; a parameter space; a method for searching or sampling candidates; a cross-validation scheme; and a score function.」
| 재료 | 무엇 | 위 실험에서 | scikit-learn 에서 |
|---|---|---|---|
| 모델 | 하이퍼파라미터를 받아 학습하는 것 | 학습률과 감쇠 세기를 받는 모델(지어낸 점수 함수가 대신한다) | SVC() 같은 모델 객체 |
| 하이퍼파라미터 공간 | 하이퍼파라미터마다 해 볼 값의 목록이나 범위 | 학습률 10⁻⁴ ~ 1, 감쇠 세기 10⁻⁵ ~ 10⁻¹ | param_grid(목록), param_distributions(분포) |
| 찾는 방법 | 공간에서 후보를 고르는 법 | 그리드 서치 9점, 랜덤 서치 9점 | GridSearchCV, RandomizedSearchCV |
| 교차 검증 방식 | 후보마다 검증 점수를 내는 나누기 | 생략(점수 함수가 검증 점수를 바로 준다) | cv=5, GroupKFold 등(자료 나누기 5절) |
| 점수 함수 | 무엇을 「좋다」로 볼지 | 검증 점수(높을수록 좋다) | scoring |
3. 그리드 서치와 랜덤 서치: 같은 9번, 다른 값
위 실험의 점수는 이 식으로 지어냈습니다. 실제 모델의 점수가 늘 이런 모양이라는 뜻이 아닙니다. 「중요한 하이퍼파라미터 하나와 거의 상관없는 하이퍼파라미터 하나」를 흉내 낸 것입니다.
점수 = 0.5 + 0.4 × exp(−(a + 2.4)²) − 0.01 × (b + 3)²
a: log₁₀(학습률). −4 ~ 0, 학습률로는 0.0001 ~ 1.b: log₁₀(감쇠 세기). −5 ~ −1, 감쇠 세기로는 0.00001 ~ 0.1.exp(−(a + 2.4)²): a = −2.4(학습률 약 0.004)에서 1 이고, 멀어질수록 0 으로 줄어드는 언덕.exp는 e(약 2.718)의 거듭제곱.0.5,0.4: 언덕의 바닥과 높이. 점수는 약 0.46 에서 0.9 까지.0.01 × (b + 3)²: B 의 몫. b 가 범위 끝(−5 나 −1)에 가도 0.04 만 깎는다.
그리드 서치는 하이퍼파라미터마다 값 몇 개를 정하고 「exhaustively considers all parameter combinations」, 모든 조합을 해 봅니다. 위 실험은 하이퍼파라미터마다 범위의 양 끝과 가운데 3값을 둬서 3 × 3 = 9번입니다. 하이퍼파라미터가 셋이면 27번, 넷이면 81번으로 곱해서 늘어납니다.
랜덤 서치는 「a randomized search over parameters, where each setting is sampled from a distribution over possible parameter values」, 하이퍼파라미터마다 분포에서 값을 뽑습니다. 사용자 안내가 꼽는 좋은 점은 둘입니다.
- 「A budget can be chosen independent of the number of parameters and possible values.」 시도 횟수(
n_iter)를 하이퍼파라미터의 수나 값의 수와 따로 정합니다. - 「Adding parameters that do not influence the performance does not decrease efficiency.」 성능에 영향이 없는 하이퍼파라미터를 더해도 효율이 줄지 않습니다.
위 실험이 둘째 말의 작은 예입니다. B 는 점수를 많아야 0.04 바꾸는, 거의 영향이 없는 하이퍼파라미터입니다. 그리드 서치는 9번 가운데 B 를 바꾸는 데 세 줄을 써서, 중요한 A 는 3값밖에 보지 못했습니다. 랜덤 서치는 시도마다 A 와 B 를 함께 새로 뽑으니, B 를 더해도 A 는 9값을 봅니다. 그래서 언덕 꼭대기(a = −2.4)에 더 가까운 A 를 만날 기회가 많습니다. 늘 이기는 것은 아닙니다. 시드 200개 가운데 41번은 그리드 서치가 낫거나 같았습니다.
4. 로그 스케일로 뽑기
학습률이나 감쇠 세기는 0.0001, 0.001, 0.01 처럼 10 배씩 벌어지는 범위에서 찾습니다. 이런 범위를 선형 스케일에서 고르게 뽑으면 거의 모두 큰 쪽에 떨어집니다. 1 ~ 100 에서 고르게 뽑으면 1 ~ 10 에 가는 몫은 9 ÷ 99, 약 9% 입니다. 로그 스케일에서 고르게 뽑으면 1 ~ 10 과 10 ~ 100 에 반씩 갑니다. 위 실험의 랜덤 서치 9점도 a = log₁₀(학습률)을 고르게 뽑은 것입니다.
사용자 안내는 연속인 하이퍼파라미터에는 목록 대신 연속 분포를 주라고 적습니다: 「For continuous parameters, such as C above, it is important to specify a continuous distribution to take full advantage of the randomization.」 그리고 「A continuous log-uniform random variable is the continuous version of a log-spaced parameter. For example … loguniform(1, 100) can be used instead of [1, 10, 100].」 목록 [1, 10, 100] 은 세 값만 보지만 loguniform(1, 100) 은 뽑을 때마다 그 사이의 새 값을 봅니다.
5. 고를수록 부푸는 검증 점수
검증 점수에는 운이 섞입니다. 검증 세트가 다르면 같은 모델도 점수가 조금 다릅니다. 후보가 많으면 그중 운 좋게 높게 나온 것이 뽑히기 쉽습니다. 아래 실험은 이것만 떼어 봅니다. 후보 n 개의 진짜 점수는 모두 같습니다. 어느 것을 골라도 실제로는 차이가 없습니다.
검증 점수ᵢ = 0.8 + 0.02 × zᵢ, 테스트 점수ᵢ = 0.8 + 0.02 × wᵢ
i: 후보 번호(1 ~ n).0.8: 진짜 점수. 모든 후보가 같다.0.02: 노이즈의 크기(표준편차). 검증 세트와 테스트 세트의 운을 흉내 낸 지어낸 값.zᵢ,wᵢ: 따로 뽑은 표준정규분포의 수(평균 0, 표준편차 1, 고정 시드). 검증의 운과 테스트의 운은 서로 상관없다.
검증 점수가 가장 높은 후보 하나를 고르고, 그 후보의 검증 점수와 테스트 점수를 적습니다. 이것을 400번 되풀이해 평균합니다.
해 볼 것. ① 막대를 1 로 두면 고를 것이 없어서 검증 0.80, 테스트 0.80 입니다. ② 처음 값 10 에서는 검증 0.83, 테스트 0.80 입니다. ③ 100 으로 밀면 검증 0.85, 테스트 0.80 입니다. 고른 것은 실제로 더 나은 후보가 아니라 검증 세트에서 운이 좋았던 후보입니다. 그 운은 테스트 세트로 가져가지 못합니다.
그래서 고르는 데 쓴 자료로는 성능을 말하지 않습니다. 찾기가 내놓는 「가장 좋은 검증 점수」는 고른 쪽으로 기운 숫자입니다. 학습 점수가 테스트 점수보다 좋게 나오는 과적합과 닮은 일이, 가중치가 아니라 하이퍼파라미터를 고르는 단계에서 일어난 것입니다. 테스트 세트를 마지막에 한 번만 보는 까닭도 같습니다(자료 나누기).
6. 고른 뒤에 평가하기
사용자 안내의 권고: 「it is important to do it on held-out samples that were not seen during the grid search process: it is recommended to split the data into a development set (to be fed to the GridSearchCV instance) and an evaluation set to compute performance metrics.」 자료를 개발 세트(찾기에 넣는 몫)와 평가 세트(성능을 재는 몫)로 먼저 나누고, 찾기는 개발 세트 안에서만 합니다.
자료가 적어 평가 세트를 한 번만 떼기가 아까우면 중첩 교차 검증을 씁니다. 바깥 교차 검증이 판마다 평가 폴드를 떼고, 남은 개발 세트 안에서 안쪽 교차 검증으로 하이퍼파라미터를 고르고, 고른 하이퍼파라미터의 모델로 평가 폴드의 점수를 잽니다. 바깥 판의 점수를 평균한 것이 성능입니다. 사용자 안내는 이것을 「This is the best practice for evaluating the performance of a model with grid search.」라고 적습니다. 바깥 판마다 고른 하이퍼파라미터가 다를 수 있고, 학습 횟수가 바깥 겹 수 × 안쪽 겹 수 × 후보 수로 늘어납니다.
7. 언제 무엇을 쓰나
| 찾는 방법 | 좋은 점 | 나쁜 점 | 쓰는 경우 |
|---|---|---|---|
| 그리드 서치 GridSearchCV | 정한 조합을 빠짐없이 모두 본다. 같은 목록이면 늘 같은 후보를 본다 | 시도 횟수가 하이퍼파라미터마다 값 수의 곱으로 늘어난다. 영향 없는 하이퍼파라미터가 섞여 있어도 그 몫만큼 시도를 쓴다(실험에서 A 는 3값뿐) | 하이퍼파라미터가 한두 개이고, 해 볼 값이 몇 개로 정해져 있을 때 |
| 랜덤 서치 RandomizedSearchCV | 시도 횟수를 하이퍼파라미터 수와 따로 정한다. 영향 없는 하이퍼파라미터를 더해도 효율이 줄지 않는다(사용자 안내). 같은 횟수로 하이퍼파라미터마다 더 많은 값을 본다(실험에서 A 는 9값) | 뽑기의 운에 따라 결과가 바뀐다(시드 200개 가운데 41번은 그리드 서치가 낫거나 같았다). 시드를 고정해야 다시 돌려도 같다 | 하이퍼파라미터가 여럿이거나 어느 것이 중요한지 모를 때, 학습률처럼 연속인 값을 찾을 때 |
# scikit-learn: 평가 세트를 먼저 떼고, 개발 세트 안에서만 찾는다
from scipy.stats import loguniform
from sklearn.model_selection import GridSearchCV, RandomizedSearchCV, train_test_split
from sklearn.svm import SVC
x_dev, x_eval, y_dev, y_eval = train_test_split(x, y, test_size=0.2, random_state=0)
# 그리드 서치: 하이퍼파라미터마다 3값, 모든 조합 3 × 3 = 9번
grid = GridSearchCV(SVC(), {"C": [1, 10, 100], "gamma": [0.0001, 0.001, 0.01]}, cv=5)
grid.fit(x_dev, y_dev)
# 랜덤 서치: 9번 뽑는다. 10 배씩 벌어지는 값은 loguniform 으로
search = RandomizedSearchCV(SVC(), {"C": loguniform(1, 100), "gamma": loguniform(1e-4, 1e-2)},
n_iter=9, cv=5, random_state=0)
search.fit(x_dev, y_dev)
print(search.best_params_, search.best_score_) # best_score_ 는 고르는 데 쓴 점수라 부풀어 있다
print(search.score(x_eval, y_eval)) # 성능은 찾기에 쓰지 않은 평가 세트로
어디에 쓰나
학습이 스스로 정하지 못하는 하이퍼파라미터를 고를 때 씁니다. 학습률, 감쇠 세기, 층 수가 그런 값이고(1절), 7절 코드처럼 SVM 의 C 와 gamma 도 같은 방법으로 찾습니다. 하이퍼파라미터가 한두 개이고 해 볼 값이 몇 개로 정해져 있으면 그리드 서치, 하이퍼파라미터가 여럿이거나 어느 것이 중요한지 모르거나 학습률처럼 연속인 값을 찾으면 랜덤 서치를 씁니다(7절 표). 어느 쪽이든 고르는 데 쓴 점수는 부풀어 있으니, 성능은 찾기에 쓰지 않은 평가 세트로 잽니다(6절).
자주 묻는 것
그리드 서치와 랜덤 서치 가운데 무엇을 쓰나요?
하이퍼파라미터가 한두 개이고 해 볼 값이 몇 개로 정해져 있으면 그리드 서치로 모두 봐도 됩니다. 랜덤 서치에는 scikit-learn 사용자 안내가 꼽는 좋은 점이 둘 있습니다. 시도 횟수를 하이퍼파라미터의 수와 값의 수와 따로 정할 수 있고, 성능에 영향이 없는 하이퍼파라미터를 더해도 효율이 줄지 않습니다. 이 쪽의 실험에서 같은 9번으로 랜덤 서치는 중요한 하이퍼파라미터를 9값, 그리드 서치는 3값 봤습니다.
학습률처럼 0.0001 에서 1 까지 벌어지는 하이퍼파라미터는 어떻게 뽑나요?
로그 스케일에서 고르게 뽑습니다. 그러면 0.0001 ~ 0.001, 0.001 ~ 0.01 처럼 10 배마다 같은 몫이 갑니다. scikit-learn 에서는 scipy 의 loguniform 을 씁니다. 사용자 안내의 예로 loguniform(1, 100) 은 [1, 10, 100] 대신 쓸 수 있습니다.
찾기에서 나온 가장 좋은 검증 점수를 성능으로 적어도 되나요?
아니요. 그 점수는 고르는 데 쓴 점수라서 후보가 많을수록 부풉니다. 이 쪽의 실험에서 진짜 점수가 모두 0.80 인 후보 100개 가운데 고른 것의 검증 점수 평균은 0.85, 테스트 점수 평균은 0.80 입니다. 성능은 찾기에 쓰지 않은 평가 세트로 재거나 중첩 교차 검증으로 잽니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 설정값 | 하이퍼파라미터(hyperparameter) |
| 학습이 정하는 값 | 파라미터(parameter), 가중치 |
| 모든 조합을 해 보기 | 그리드 서치(grid search), GridSearchCV |
| 범위에서 아무렇게나 뽑기 | 랜덤 서치(randomized search), RandomizedSearchCV |
| 하이퍼파라미터 공간 | parameter space. 그리드 서치는 param_grid, 랜덤 서치는 param_distributions |
| 시도 횟수 | 예산(budget), n_iter |
| 로그 스케일에서 고르게 뽑기 | 로그 균등 분포(log-uniform), loguniform |
| 개발 세트, 평가 세트 | development set, evaluation set(held-out samples) |
| 중첩 교차 검증 | nested cross-validation. 자료 나누기 쪽의 「중첩 교차 검증」 |
| 점수 함수 | score function, scoring |
출처
- scikit-learn 사용자 안내: Tuning the hyper-parameters of an estimator. 하이퍼파라미터의 뜻, 찾기의 다섯 재료, GridSearchCV 와 RandomizedSearchCV, 랜덤 서치의 두 좋은 점, 연속 분포와 loguniform, 평가 세트와 중첩 교차 검증.
- 위 두 실험의 점수 함수, 노이즈의 크기, 숫자는 모두 이 쪽에서 지어내 고정 시드로 계산한 것입니다.