교차 검증 (1) 썸네일형 리스트형 [기계학습/ML]11. 검증 세트 - 교차 검증, 그리드 서치 Pupbani와 신팀장의 보고를 받은 이사님은 다음과 같은 질문을 던졌다. max_depth를 3말고 다른 값으로 하면 성능이 달라지나요?" "네" 라고 Pupbani가 대답했다. "이런저런 값으로 모델을 많이 만들어서 테스트 세트로 평가하면 결국 테스트 세트에 잘 맞는 모델이 만들어지는게 아닌가요?" Pupbani는 그 말을 듣고 기존에 했던 작업들을 돌아봤다. 훈련 세트에서 모델을 훈련하고 테스트 세트에서 모델을 평가했다. 이렇게 평가된 점수를 보고 일반화 성능을 가늠했다. 그런데 이렇게 테스트 세트를 자꾸 사용해서 성능을 확인하다보면 결국 모델을 테스트 세트에 맞추게 되는 셈입니다. 올바른 모델 개발을 위해 테스트 세트는 모델을 만들고 나서 마지막에 딱 한 번만 사용하는 것이 좋다. 그렇다면 어떻게.. 이전 1 다음
