Project: medical-entity-recognition (GitHub Link)

medical-entity-recognition-master
- bilstm_crf
  - data.py
  - model.py
  - main.py
  - bio_model
    - random_word_300
      - checkpoints
        model-3840.index
        model-3920.index
        checkpoint
        model-3960.index
        model-4000.index
        model-3880.index
      - results
        log.txt
        result_metric_test
      - summaries
    - random_char_300
      - checkpoints
        model-4356.index
        model-4268.index
        model-4312.index
        checkpoint
        model-4400.index
        model-4224.index
      - results
        log.txt
      - summaries
  - utils.py
- train_test_data
  - char2id.pkl
  - word2id.pkl
- LICENSE
- crf
  - crf_unit.py
  - predata.py
- reader.py
- raw_data
  - 病史特点-2.txt
  - 病史特点-53.txt
  - 病史特点-15.txt
  - 病史特点-82.txt
  - 病史特点-43.txt
  - 病史特点-99.txt
  - 病史特点-3.txt
  - 病史特点-76.txt
  - 病史特点-65.txt
  - 病史特点-36.txt
  - 病史特点-49.txt
  - 病史特点-70.txt
  - 病史特点-31.txt
  - 病史特点-83.txt
  - 病史特点-37.txt
  - 病史特点-74.txt
  - 病史特点-57.txt
  - 病史特点-47.txt
  - 病史特点-34.txt
  - 病史特点-17.txt
  - 病史特点-45.txt
  - 病史特点-73.txt
  - 病史特点-71.txt
  - 病史特点-100.txt
  - 病史特点-62.txt
  - 病史特点-89.txt
  - 病史特点-81.txt
  - 病史特点-50.txt
  - 病史特点-30.txt
  - 病史特点-63.txt
  - 病史特点-56.txt
  - 病史特点-20.txt
  - 病史特点-16.txt
  - 病史特点-24.txt
  - 病史特点-35.txt
  - 病史特点-29.txt
  - 病史特点-77.txt
  - 病史特点-60.txt
  - 病史特点-9.txt
  - 病史特点-5.txt
  - 病史特点-46.txt
  - 病史特点-59.txt
  - 病史特点-48.txt
  - 病史特点-55.txt
  - 病史特点-58.txt
  - 病史特点-87.txt
  - 病史特点-93.txt
  - 病史特点-86.txt
  - 病史特点-27.txt
  - 病史特点-10.txt
  - 病史特点-85.txt
  - 病史特点-13.txt
  - 病史特点-67.txt
  - 病史特点-4.txt
  - 病史特点-8.txt
  - 病史特点-95.txt
  - 病史特点-79.txt
  - 病史特点-96.txt
  - 病史特点-22.txt
  - 病史特点-23.txt
  - 病史特点-26.txt
  - 病史特点-11.txt
  - 病史特点-94.txt
  - 病史特点-90.txt
  - 病史特点-66.txt
  - 病史特点-25.txt
  - 病史特点-18.txt
  - 病史特点-92.txt
  - 病史特点-6.txt
  - 病史特点-7.txt
  - 病史特点-19.txt
  - 病史特点-69.txt
  - 病史特点-80.txt
  - 病史特点-64.txt
  - 病史特点-33.txt
  - 病史特点-40.txt
  - 病史特点-75.txt
  - 病史特点-41.txt
  - 病史特点-1.txt
  - 病史特点-21.txt
  - 病史特点-42.txt
  - 病史特点-32.txt
  - 病史特点-88.txt
  - 病史特点-38.txt
  - 病史特点-51.txt
  - 病史特点-68.txt
  - 病史特点-84.txt
  - 病史特点-97.txt
  - 病史特点-44.txt
  - 病史特点-14.txt
  - 病史特点-72.txt
  - 病史特点-12.txt
  - 病史特点-91.txt
  - 病史特点-52.txt
  - 病史特点-39.txt
  - 病史特点-78.txt
  - 病史特点-61.txt
  - 病史特点-98.txt
  - 病史特点-54.txt
  - 病史特点-28.txt
- README.md
- .gitignore

medical-entity-recognition

Describe

本项目是针对医疗数据，进行命名实体识别。主要采用的方法：

基于条件随机场(Condition Random Fields, CRF)的命名实体识别.
基于双向长短时记忆神经网络和条件随机场(Bi-LSTM-CRF)的命名实体识别。

Introduce

raw_data是原始数据，来源于CCKS2017任务二中，针对医疗电子病例进行命名实体识别。reader.py文件是对原始数据进行处理，生成标准的NER格式(data, pos, label)的数据。
train_test_data是模型的训练和测试的语料，其中word2id.pkl和char2id.pkl是神经网络中需要读入的字典。
crf文件夹是使用CRF进行命名实体识别的模型，其中medical_entity_recognition_bio_char_ori.crfsuite和medical_entity_recognition_bio_word_ori.crfsuite分别是训练好的，以字为特征单元和词为特征单元的模型。
bilstm_crf文件夹中是基于神经网络的命名实体识别的模型。其中，bio_model下存放的是已经训练好的两个模型。分别是随机初始化embedding的字向量和词向量的模型。其中:
- 训练新的模型方法：
  
  python main.py --mode train --data_dir --train_data --test_data --dictionary
- 测试已有模型方法:
  
  python main.py --mode test --data_dir ../train_test_data --train_data train_bio_char.txt --test_data test_bio_char.txt --dictionary char2id.pkl --demo_model random_char_300

Requirements

python 3

pycrfsuite：pip install python-crfsuite

zhon：pip install zhon

tensorflow >= 1.4

Result

分别以字和词为单元进行训练，实验结果如下：

model	char_unit	word_unit
CRF	0.73	0.74
Bi-LSTM_CRF	0.80	0.78

Reference

guillaumegenthial/sequence_tagging

Other

欢迎各位大佬，批评指正