• Search by Module
• Search by Words
• Search Projects

• Java
• Python
• JavaScript
• TypeScript
• C++
• Scala
• Blog

Project: nlp-tensorflow (GitHub Link)

• nlp-tensorflow-master
  • 02-nlp_application
    • 03-Conversation
      • data_process.py
      • models
        • model-1000.index
        • model-800.index
        • checkpoint
        • model-900.index
      • vocab.json
      • model.py
      • data
        • translation.txt
        • dialog.txt
      • train.py
      • test.py
    • 02-SamHangSi
      • data_process.py
      • models
        • my-model.ckpt-49900.index
        • my-model.ckpt-50000.index
        • checkpoint
        • my-model.ckpt-49800.index
      • model.py
      • data
      • train.py
      • test.py
    • 01-Sentiment
      • word2vec.py
      • config.txt
      • data_process.py
      • models
        • checkpoint
      • model.py
      • data
        • test-1T.txt
      • train.py
      • test.py
  • 01-sentiment_analysis
    • word2vec.py
    • 10-doc2vec.ipynb
    • 03-three_layer_net.ipynb
    • 02-logistic_regression.ipynb
    • 01-data_process.ipynb
    • data_process.py
    • models.py
    • 07-POS.ipynb
    • data
      • test-1T.txt
    • 04-RNN.ipynb
    • 06-CNN.ipynb
    • 09-word2vec.ipynb
    • 08-Morphs.ipynb
    • 05-LSTM.ipynb
  • LICENSE
  • README.md
  • requirements.txt

NLP Tutorial with Deep Learning using tensorflow

1. Install requirements

$ pip install -r requirements.txt

2. 01-sentiment_analysis

네이버 영화 평점 데이터를 이용하여 여러 딥러닝 모델을 비교해 볼 수 있습니다.
다양한 컴퓨터 사양으로 테스트 해 볼 수 있도록 데이터셋을 크기에 따라 세 가지를 두었습니다.

Contents

1. Data Process
2. Logistic Regression
3. Feed Forward Neural Network
4. RNN: with rnn tensorflow API explanation
5. LSTM: uni-directional LSTM, bi-directional LSTM, deep-bi-directional LSTM
6. CNN
7. POS: with konlpy Twitter API
8. Morphs: with konlpy Twitter API
9. word2vec: with gensim API
10. doc2vec: with gensim API
11. Every model is defined at models

3. 02-nlp_application

딥러닝 모델을 이용하여 사용자의 입력을 받아 [감성분석, 삼행시만들기, 대화하기]를 테스트 할 수 있습니다.
훈련된 모델이 같이 들어있어 train 없이 바로 test 할 수 있으며, gpu 없이 train 할 시, 시간이 오래 걸릴 수 있습니다.

train

$ python train.py

implementation

$ python test.py

4. Notice

1. 02-nlp_application/01-Sentiment 의 경우, models 폴더 안 model-31000.zip 파일의 압축을 풀어주어야 train 없이 바로 test 할 수 있습니다.
   

   ubuntu/mac: how to unzip in command line

   $ zip -FF model-31000.zip --out model-31000-full.zip
   $ unzip model-31000-full.zip

2. 모든 데이터는 한국어로 이루어져 있습니다.
   
   

3. konlpy 설치는 http://konlpy.org/en/v0.4.4/install/ 를 참조하세요.