지난 포스팅에 이어서 CSV 파일을 가져오는 예제를 계속 했습니다.이번에 해 본 것은 데이터를 한번에 다 가져오는 것이 아니라전체 데이터를 Shuffle 하여 그중에 일부를 가져오는 것 입니다. 데이터가 많을 때 한번에 모든 데이터를 입력하려면시간이 많이 소모 되기 때문에 랜덤하게 일부 데이터를 가져와서학습시키는 것을 반복할 때 유용합니다. 이번에 사용한 데이터는아래와 같이 생긴 모양의 데이터가 100개 Row 있습니다. https://www.tensorflow.org/programmers_guide/reading_data공식 사이트에 나와있는 대로 하다보면에러가 계속 발생해서 찾다보니tf.local_variables_initializer()를 추가 해야 한다는 것을 찾고 시행하니 잘 동작합니다. fro..
가지고 있는 데이터를 사용 해서 학습을 시켜 보겠습니다. 기존 예제들은 데이터의 포멧도 잘 맞춰져 있어서 파일을 읽어오고배치로 입력하고 하는 과정이 간단하게 되어 있습니다. 하지만 막상 실제 데이터를 사용하려니데이터를 선정하고 데이터를 가공하고 데이터를 입력하는 것이 어려운 것 같습니다. 오늘은 데이터를 읽어 오는 것을 해 보겠습니다. 1. 데이터 준비저는 2GB 정도 되는 데이터를 가지고 있습니다.Mysql에 저장이 되어 있고 이것을 CSV 파일로 Import 하였습니다.2GB 정도 되니 더이상 엑셀로 열리지 않습니다.데이터를 10000개만 추출하여 파일을 만들고 시험 해 보았습니다. 데이터는 아래와 같이 주황색 부분에 Raw Data가 12개, 초록색 부분에 Raw Data를 가공하여 만든 24개의 ..
이번에는 MNIST 예제를 이용해서 Tensorboard를 사용해 보겠습니다. Tensorboard에 사용되는 데이터를 생성하기 위해서는 Summary라는 기능을 사용합니다. 자세한 설명은 아래에 있네요https://www.tensorflow.org/api_docs/python/summary/ 지난 포스트에서 사용했던 mnist 예제에 코드를 추가해 Tensorboard를 사용 해 보겠습니다. 기존 코드에서 tensorboard를 위해 추가한 부분을 굵은 글씨로 표시 했습니다. from tensorflow.examples.tutorials.mnist import input_datamnist = input_data.read_data_sets("MNIST_data/", one_hot=True) import ..
- Total
- Today
- Yesterday