1. 다시 머신러닝을 해 보자

2017년에 시도 했던 Machine learning을 다시 해 보려고

주섬 주섬 코드를 찾고 그래픽 카드를 설치하고 머신러닝을 해 보려고 하는데

몇가지 어려움이 생긴다.

 

1. 데이터가 커지니 전 처리가 쉽지않다.

    그 동안 데이터가 100GB 이상, 3억건으로 커졌고

    여기에 Label 을 붙이려고 하니 몇 일이 걸렸다.

 

2. 오래된 GTX1080Ti는 호환성을 맞추기가 참 어렵다.

    CUDA, Numpy Pandas 등 최신 버전을 사용 할 수 없고

    예전 버전을 사용 해야 하는데, 그러면 최신 예제 코드들이 에러가 난다.

    쓸 수는 있는데, 쉽지 않다.

     

3. 데이터가 커지니 학습도 쉽지 않다.

    용량이 커지니 배치로 처리 하는데, 데이터를 가져 오고

    학습하는 과정이 많이 느리더라.

 

4. 최신 Machine learning 모델들이 많이 나왔다.

    그리고 난 뭐가 좋은지 모른다.

    코드를 열심히 찾아서 구현하는데 한 세월인데

    언제 이걸 다 하나 싶다.

 

그래서 더 쉬운 방법이 없나 살펴봤다.

그 중에 하나는 Big ML

https://bigml.com/

BigML.com

데이터를 넣고 모델을 골라서 학습하는 구조인데

100GB 데이터는 넣지 못하고

64GB 데이터를 넣어서 학습시키는 한달 요금이 $10,000 이어서 기각.

   

 

이렇게 저렇게 찾다 보니

AWS, Google Cloud, MS Azure에서도 머신러닝 학습 기능을 찾았다.

 

AWS Sagemaker

https://aws.amazon.com/ko/sagemaker/?nc2=h_ql_prod_ml_sm

기계 학습 - Amazon Web Services

 

Azure Machine learning

https://azure.microsoft.com/ko-kr/products/machine-learning/

Azure Machine Learning - ML as a Service | Microsoft Azure

 

Google cloud AI

https://cloud.google.com/vertex-ai/?hl=ko

https://cloud.google.com/vertex-ai/?hl=ko

 

이 중에 Sagemaker를 이용해서 시도 해 보려고 한다.

 

1. 유투브에 나오는 자료가 많았고

2. S3에 큰 데이터를 넣어서 보는게 가능해 보였고

3. 여러 모델을 자동으로 돌려 볼 수 있을 것 같아서 

 

선택했다.