aws에서 kubernetes 기반 ML Workflow를 만들어보자!

팀 개발스택을 내재화 하기 위해 내 개인 프로젝트에서 인프라 밑바닥부터 하여 최적화까지 진행할 생각이다.

내가 속한 팀은 MLOps팀으로 주로 ML 서빙 환경을 비롯하여 데이터 파이프라인 구축, 모델 서빙 모니터링, 클라우드 리소스 집중화를 통한 비용 최적화를 담당하는 팀이다. 신설된지 얼마 안된 팀이라, 완벽한 ML플랫폼을 구축하였다고는 말하지 못하지만, 아직 ML플랫폼 구축이 완전하지 못한 팀이 적용하기엔 충분히 괜찮은 구성이라고 생각한다.

공부를 목적으로 하기 때문에 최대한 힙하게 만들 예정이다. 그리고 보안상의 문제로 업무 중에 못 다뤄본 기술들도 꽤 많이 다룰 생각이다.

구체적으로 어떤 모델로 어떤 도메인의 서비스를 만들 한참을 고민했다. 훈련 파이프라인을 구축할 수 있는 모델이어야 하고, 내가 모델링에 대해서는 생초보이기 때문에, 모델 구현에 대한 부분까지 고려했을 때, 관상으로 재산을 추론하는 시스템을 만들어보는 건 어떨까 한다. ML 서비스를 만들 때 가장 어려운 점 중 하나가, 데이터를 구하는 것인데, 포브스 홈페이지에 보면 2500여명 가량의 세계 부호 순위를 간단하게 뽑아볼 수 있다.

forbes billionaires list

여기서, 이름으로 google 이미지 데이터를 추가하면 사람당 평균 4장씩 넣어도 총 10000장의 라벨링 된 데이터가 추출된다. 이정도면 training set으로 충분한 데이터라 생각한다.

자 그럼 목표가 생겼으니 Let’s Go!

혹시 더 좋은 아이디어가 있으시거나, 작업에 참여하시고 싶은 분이 계시다면, 메일📨로 연락주세요

Comments