지난 포스팅에 이어서 CSV 파일을 가져오는 예제를 계속 했습니다.이번에 해 본 것은 데이터를 한번에 다 가져오는 것이 아니라전체 데이터를 Shuffle 하여 그중에 일부를 가져오는 것 입니다. 데이터가 많을 때 한번에 모든 데이터를 입력하려면시간이 많이 소모 되기 때문에 랜덤하게 일부 데이터를 가져와서학습시키는 것을 반복할 때 유용합니다. 이번에 사용한 데이터는아래와 같이 생긴 모양의 데이터가 100개 Row 있습니다. https://www.tensorflow.org/programmers_guide/reading_data공식 사이트에 나와있는 대로 하다보면에러가 계속 발생해서 찾다보니tf.local_variables_initializer()를 추가 해야 한다는 것을 찾고 시행하니 잘 동작합니다. fro..
가지고 있는 데이터를 사용 해서 학습을 시켜 보겠습니다. 기존 예제들은 데이터의 포멧도 잘 맞춰져 있어서 파일을 읽어오고배치로 입력하고 하는 과정이 간단하게 되어 있습니다. 하지만 막상 실제 데이터를 사용하려니데이터를 선정하고 데이터를 가공하고 데이터를 입력하는 것이 어려운 것 같습니다. 오늘은 데이터를 읽어 오는 것을 해 보겠습니다. 1. 데이터 준비저는 2GB 정도 되는 데이터를 가지고 있습니다.Mysql에 저장이 되어 있고 이것을 CSV 파일로 Import 하였습니다.2GB 정도 되니 더이상 엑셀로 열리지 않습니다.데이터를 10000개만 추출하여 파일을 만들고 시험 해 보았습니다. 데이터는 아래와 같이 주황색 부분에 Raw Data가 12개, 초록색 부분에 Raw Data를 가공하여 만든 24개의 ..
- Total
- Today
- Yesterday