2. 데이터 준비하기

나는 처리하고 싶은 데이터는 가지고 있다.

그런데 문제는 라벨링.

 

데이터를 처리 해서 라벨링을 해야 하는데

어느새 데이터가 3억건이 되어 있었다.

 

처리 해 보니 라벨을 생성 하는 것 보다

라벨을 DB에 다시 저장하는게 오래 걸린다.

 

CPU는 놀고 있는데 SSD가 계속 돌아가면서

더 빨리 돌릴 방법이 없다.

 

일단 이건 이것 대로 돌려두고

300만개 정도만 CSV 파일로 만들어서

AWS C3 에 올려 봤다.

 

AWS에 올리는건 아주 간단하다.

 

1. S3에 들어가서

 

2. 버킷 만들기

 

3. 그대로 놓고 버킷 만들기 버튼 누르기

 

4. 생성된 버킷 확인

 

5. 버킷 들어가기

 

6. 업로드 버튼 누르고 파일 올리기

 

이렇게 하면 파일이 올라간다.

160GB 까지는 이대로 올라가는데

더 큰걸 올리려면 API를 써야 한다고 한다.