ML 프로젝트 생애주기와 하이퍼파라미터 튜닝
머신러닝 프로젝트는 "AI를 만든다"는 거창한 말과 달리, 실제로는 매우 구체적이고 순서 있는 단계를 거칩니다. 건물을 지을 때 기초 공사 없이 벽을 세울 수 없듯이, ML 프로젝트도 정해진 순서가 있습니다. AIF-C01 시험에서는 이 단계들을 실제 비즈니스 시나리오 형태로 묻습니다. 처음 접하는 분들도 이해할 수 있도록 쉽게 설명합니다.
---
ML 프로젝트의 8단계 생애주기
머신러닝 프로젝트는 한 방향으로 쭉 진행되지 않습니다. 마치 요리 레시피를 개발할 때처럼, 맛이 별로면 재료나 조리 방법을 바꿔서 다시 시도하는 반복 과정입니다.
---
1단계: 비즈니스 목표 정의 (Define Business Goals)
모든 ML 프로젝트는 기술보다 비즈니스 문제에서 시작합니다. "AI로 무엇을 해결하려는가?"를 먼저 명확히 해야 합니다.
이 단계에서는 해결하려는 문제와 기대 효과를 명확히 적습니다. 성공을 어떻게 측정할지 KPI(핵심 성과 지표)를 정합니다. 예산, 사용할 수 있는 데이터, 제약 조건을 관련자들과 합의합니다.
예를 들어 "고객 이탈을 30% 줄인다"는 것이 비즈니스 목표이고, "이탈 가능성이 높은 고객을 예측하는 모델을 만든다"는 것이 ML 목표입니다.
---
2단계: ML 문제 정의 (Frame the ML Problem)
비즈니스 문제를 AI가 풀 수 있는 형태로 바꾸는 단계입니다. "이 문제를 분류(Classification) 문제로 다룰까, 아니면 수치 예측(Regression) 문제로 다룰까?"를 결정합니다. 또한 ML이 정말 필요한지, 단순한 규칙 기반 시스템으로 해결할 수 없는지도 검토합니다.
데이터 과학자, 데이터 엔지니어, 비즈니스 전문가가 함께 협력하는 단계입니다.
---
3단계: 데이터 처리 (Data Processing)
"쓰레기를 넣으면 쓰레기가 나온다(Garbage In, Garbage Out)" — ML의 가장 중요한 원칙입니다. 좋은 데이터 없이는 좋은 모델이 나올 수 없습니다.
이 단계에서는 다양한 소스에서 데이터를 모읍니다. 빠진 값이나 잘못된 값을 수정합니다. 숫자나 카테고리 형식으로 변환합니다. 모델에 도움이 되는 새로운 변수(특성)를 만들어 냅니다.
---
4단계: 탐색적 데이터 분석 (EDA, Exploratory Data Analysis)
데이터를 본격적으로 분석하기 전에 "데이터가 어떻게 생겼는지" 살펴보는 단계입니다. 마치 요리를 시작하기 전에 재료를 눈으로 확인하는 것과 같습니다.
차트와 그래프로 데이터의 분포를 확인합니다. 변수들 사이의 관계를 상관 행렬로 파악합니다. 어떤 변수가 예측에 중요한지, 어떤 것은 필요 없는지 결정합니다.
---
5단계: 모델 개발 (Model Development)
여러 가지 ML 알고리즘을 실제로 훈련시키고, 어떤 모델이 가장 잘 동작하는지 비교합니다.
정확도(Accuracy), F1 점수, AUC 같은 지표로 성능을 평가합니다. 하이퍼파라미터를 조정해서 모델을 개선합니다. 새로운 특성을 추가하거나, 데이터 문제를 수정하면서 반복합니다.
---
6단계: 재훈련 (Retraining)
모델 성능이 기대에 못 미치거나, 시간이 지나면서 성능이 떨어지면 이 단계로 돌아옵니다.
새로운 데이터를 추가하거나, 특성 선택을 다시 하거나, 하이퍼파라미터를 재조정합니다. 모델이 특정 집단에 대해 불공평한 예측을 한다면(편향) 이 단계에서 수정합니다.
---
7단계: 배포 (Deployment)
성능 기준을 충족하면 모델을 실제 서비스에 올립니다. 상황에 따라 다양한 배포 방식을 선택합니다.
| 배포 방식 | 설명 | |-----------|------| | Real-time | 즉각적인 응답이 필요한 서비스 (예: 사기 탐지) | | Batch | 한 번에 대량 처리 (예: 매일 밤 추천 목록 생성) | | Serverless | 트래픽이 불규칙할 때 서버 없이 배포 | | Asynchronous | 시간이 오래 걸리는 작업에 비동기 처리 | | On-premise | 인터넷 연결 없이 내부 인프라에 배포 |
---
8단계: 모니터링 (Monitoring)
배포가 끝이 아닙니다. 실제 세상에서 모델이 잘 작동하는지 계속 지켜봐야 합니다. 마치 자동차를 출고한 뒤에도 정기 점검이 필요한 것처럼.
모델 성능, 데이터 품질, 응답 속도를 추적합니다. 모델 드리프트(Model Drift)를 감지합니다. 드리프트란 실제 데이터 분포가 훈련 데이터와 달라지면서 모델 성능이 떨어지는 현상입니다. 드리프트가 감지되면 6단계(재훈련)로 돌아갑니다.
---
8단계 흐름 한눈에 보기
---
하이퍼파라미터란?
모델을 훈련시킬 때 사람이 직접 설정해야 하는 값들을 하이퍼파라미터라고 합니다. 자동차로 비유하면, 모델이 스스로 배우는 가중치(파라미터)는 엔진이 자동으로 최적화되는 부분이고, 하이퍼파라미터는 운전자가 직접 설정하는 타이어 공기압이나 연료 종류와 같습니다.
핵심 구분: 파라미터(가중치): 훈련 중에 모델이 스스로 학습합니다 하이퍼파라미터: 훈련 시작 전에 사람이 직접 설정합니다
---
4가지 핵심 하이퍼파라미터
학습률 (Learning Rate)
학습률은 모델이 얼마나 빠르게 배울지를 결정하는 값입니다. 너무 높으면 배우는 속도는 빠르지만 목표를 지나쳐 버릴 수 있습니다. 너무 낮으면 매우 천천히 배우지만 정확하게 수렴합니다.