作者归档：hain

关于hain

Noble is not born, but trained.

❤️Emotional First Aid Dataset, 心理咨询问答语料库

Emotional First Aid Dataset

心理咨询问答语料库，仅限研究用途。

https://github.com/chatopera/efaqa-corpus-zh

为什么发布这个语料库

心理咨询中应用人工智能，是我们认为非常有意义的一个探索。我们愿意和更多人合作，把目前领先的人工智能技术，在心理咨询不同场景下落地。扣门的，就给他开门，愿每个人都有自己的心理咨询师。继续阅读 →

Clause，开源的语义理解服务

发表回复

Clause

Chatopera Language Understanding Service，Chatopera 语义理解服务

https://github.com/chatopera/clause

Clause 是帮助中小型企业快速而低成本的获得好用的语义理解服务的系统。
Clause 是 Chatopera 团队自主研发及使用其他商业友好的开源软件的方式实现的，Clause 为实现企业聊天机器人提供强大的大脑，包括客服、智能问答和自动流程服务。Clause 利用深度学习，自然语言处理和搜索引擎技术，让机器更加理解人。

欢迎

Synonyms: 中文近义词工具包

5条回复

Synonyms

Chinese Synonyms for Natural Language Processing and Understanding.
最好的中文近义词库。

最近需要做一个基于知识图谱的检索，但是因为知识图谱中存储的都是标准关键词，所以需要对用户的输入进行标准关键词的匹配。目前很缺乏质量好的中文近义词库，于是便考虑使用word2vec训练一个高质量的同义词库将"非标准表述" 映射到 "标准表述"，这就是Synonyms的起源。

在经典的信息检索系统中，相似度的计算是基于匹配的，而且是Query经过分词后与文档库的严格的匹配，这种就缺少了利用词汇之间的“关系”。而word2vec使用大量数据，利用上下文信息进行训练，将词汇映射到低维空间，产生了这种“关系”，这种“关系”是基于距离的。有了这种“关系”，就可以进一步利用词汇之间的距离进行检索。所以，在算法层面上，检索更是基于了“距离”而非“匹配”，基于“语义”而非“形式”。

下面我们来仔细聊聊Synonyms(https://github.com/huyingxi/Synonyms)。

首先需要语料，我们采用了开放的大规模中文语料——维基百科中文语料。

（1）下载维基百科中文语料。
（2）繁简转换。
（3）分词。

具体操作访问wikidata-corpus

使用gensim自带的word2vec包进行词向量的训练。
（1）下载gensim。
（2）输入分词之后的维基语料进行词向量训练。
（3）测试训练好的词的近义词。

具体操作访问
wikidata-corpus
gensim.word2vec官方文档

安装

pip install -U synonyms

API接口

synonyms.nearby

获取近义词列表及对应的分数
import synonyms print("人脸: %s" % (synonyms.nearby("人脸"))) # 获取近义词 print("识别: %s" % (synonyms.nearby("识别"))) print("NOT_EXIST: %s" % (synonyms.nearby("NOT_EXIST")))

synonyms.nearby(WORD)返回一个list，list中包含两项：[[nearby_words], [nearby_words_score]]，nearby_words是WORD的近义词们，也以list的方式存储，并且按照距离的长度由近及远排列，nearby_words_score是nearby_words中对应位置的词的距离的分数，分数在(0-1)区间内，越接近于1，代表越相近。

人脸: [['图片', '图像', '通过观察', '数字图像', '几何图形', '脸部', '图象', '放大镜', '面孔', 'Mii'], [0.597284, 0.580373, 0.568486, 0.535674, 0.531835, 0.530095, 0.525344, 0.524009, 0.523101, 0.516046]]
识别: [['辨识', '辨别', '辨认', '标识', '鉴别', '标记', '识别系统', '分辨', '检测', '区分'], [0.872249, 0.764099, 0.725761, 0.702918, 0.68861, 0.678132, 0.663829, 0.661863, 0.639442, 0.611004]]

synonyms.compare

获得两个句子的相似度
sen1 = "旗帜引领方向" sen2 = "道路决定命运" assert synonyms.compare(sen1, sen2) == 0.0, "the similarity should be zero" sen1 = "发生历史性变革" sen2 = "取得历史性成就" assert synonyms.compare(sen1, sen2) > 0, "the similarity should be bigger then zero"

返回值：[0-1]，并且越接近于1代表两个句子越相似。

详细的文档。

场景

推荐。将用户输入进行近义词分析，可以推荐给用户相关的关键词。
搜索。将用户非标准化输入转换为标准化输入，进而进行数据库／知识库检索。
相似度计算。解决在自然语言处理任务中常见的词语语义相似度计算问题。

Why Synonyms

1、准确率高。
从上面的示例可以看到synonyms作为开放领域的同义词库，已经有较优的表现。
2、快速使用。
即安即用，方便开发者直接调用。
3、方便搭建。

作者

Hu Ying Xi

hain

给 Synonyms 点赞。

机器学习保险行业问答开放数据集: 2. 使用案例

11条回复

在上一篇文章中，介绍了数据集的设计，该语料可以用于研究和学习，从规模和质量上，是目前中文问答语料中，保险行业垂直领域最优秀的语料，关于该语料制作过程可以通过语料主页了解，本篇的主要内容是使用该语料实现一个简单的问答模型，并且给出准确度和损失函数作为数据集的Baseline。

DeepQA-1

为了展示如何使用该语料训练模型和评测算法，我做了一个示例项目 - DeepQA-1，本文接下来会介绍DeepQA-1，假设读者了解深度学习基本概念和Python语言。

Data Loader

数据加载包含两部分：加载语料和预处理。加载数据使用 insuranceqa_data 载入训练，测试和验证集的数据。

预处理是按照模型的超参数处理问题和答案，将它们组合成输入需要的格式，在本文介绍的baseline model中，预处理包含下面工作：

在词汇表(vocab)中添加辅助Token: <PAD>, <GO>. 假设x是问题序列，是u回复序列，输入序列可以表示为：

超参数question_max_length代表模型中问题的最大长度。超参数utterance_max_length代表模型中回复的最大长度，回复可能是正例，也可能是负例。

其中，Token <GO> 用来分隔问题和回复，Token <PAD> 用来补齐问题或回复。

训练数据包含了141,779条，正例:负例=1:10，根据超参数生成输入序列:

上图中 x 就是输入序列。y_代表标注数据：正例还是负例，正例标为[1,0]，负例标为[0,1]，这样做的好处是方便计算损失函数和准确度。测试数据和验证数据也用同样的方式进行处理，唯一不同的是它们不需要做成mini-batch。需要强调的是，处理词汇表和构建输入序列的方式可以尝试用不同的方法，上述方案仅作为表达baseline结果而采用，一些有助于增强模型能力的，比如使用word2vec训练词向量都值得尝试。

Network

baseline model使用了最简单的神经网络，输入序列从左侧进入，输出序列输出包含2个数值的vector，然后使用损失函数计算误差。

超参数，Hyper params

损失函数

神经网络的激活函数使用函数，损失函数使用最大似然的思想。

迭代训练

使用mini-batch加载数据，迭代训练的大部分工作在back_propagation中完成，它计算出每次迭代的损失和b,W 的误差率，然后使用学习率和误差率更新每个b,W 。

执行训练脚本

python3 deep_qa_1/network.py

Visual

在训练过程中，观察损失函数和准确度的变化可以帮助优化超参数的设计。

loss

python3 visual/loss.py

accuracy

python3 visual/accuracy.py

在迭代了25,000步后就基本维持在一个固定值，学习停止了。

Baseline

使用获得的Baseline数据为:

Epoch 25, total step 36400, accuracy 0.9031, cost 1.056221.

总结

Baseline model设计的非常简单，它展示了如何使用insuranceqa-corpus-zh训练FAQ问答模型，项目的源码参考这里。在过去两周中，为了能让这个数据集能满足使用，体现其价值，我花了很多时间来建设，仓促之中仍然会包含一些不足，比如数据集中，每个问题是唯一的，不包含相似问题，是这个数据集目前最大的缺陷，另外一方面，因为该数据集的回复包含一个正例和多个负例，可以用用于训练分类器，也可以用于训练ranking model。如果在使用的过程中，遇到任何问题，可以通过数据集的地址反馈。

机器学习保险行业问答开放数据集: 1. 语料介绍

3条回复

目前机器学习，尤其是因为深度学习的一波小高潮，大家对使用深度学习处理文本任务，兴趣浓厚，数据是特征提取的天花板，特征提取是深度学习的天花板。在缺少语料的情况下，评价算法和研究都很难着手，在调研了众多语料之后，深知高质量的开放语料十分稀少，比如百度开放的Web QA 1.0 语料，包含的问题也就是四万余条，而分成不同的垂直领域，就根本不能用于FAQ模型的训练，这就是我做了这个语料的原因 - 支持常见问题集模型的算法评测和研究。我将通过两篇文章来分享这个语料：(1) 语料介绍, 介绍语料的组成; (2) 使用案例，介绍一个简单使用该语料进行深度学习训练的案例，可以作为 baseline。

该语料库包含从网站Insurance Library 收集的问题和答案。

据我们所知，这是保险领域首个开放的QA语料库：

该语料库的内容由现实世界的用户提出，高质量的答案由具有深度领域知识的专业人士提供。所以这是一个具有真正价值的语料，而不是玩具。

在上述论文中，语料库用于答复选择任务。另一方面，这种语料库的其他用法也是可能的。例如，通过阅读理解答案，观察学习等自主学习，使系统能够最终拿出自己的看不见的问题的答案。

数据集分为两个部分“问答语料”和“问答对语料”。问答语料是从原始英文数据翻译过来，未经其他处理的。问答对语料是基于问答语料，又做了分词和去标去停，添加label。所以，"问答对语料"可以直接对接机器学习任务。如果对于数据格式不满意或者对分词效果不满意，可以直接对"问答语料"使用其他方法进行处理，获得可以用于训练模型的数据。

欢迎任何进一步增加此数据集的想法。

快速开始

语料地址

https://github.com/Samurais/insuranceqa-corpus-zh

在Python环境中，可以使用pip安装

兼容py2, py3

pip install --upgrade insuranceqa_data

问答语料

	问题	答案	词汇（英语）
训练	12,889	21,325	107,889
验证	2,000	3354	16,931
测试	2,000	3308	16,815

每条数据包括问题的中文，英文，答案的正例，答案的负例。案的正例至少1项，基本上在1-5条，都是正确答案。答案的负例有200条，负例根据问题使用检索的方式建立，所以和问题是相关的，但却不是正确答案。

{
"INDEX": {
"zh": "中文",
"en": "英文",
"domain": "保险种类",
"answers": [""] # 答案正例列表
"negatives": [""] # 答案负例列表
},
more ...
}

训练：corpus/pool/train.json.gz

验证：corpus/pool/valid.json.gz

测试：corpus/pool/test.json.gz

答案：corpus/pool/answers.json 一共有 27,413 个回答，数据格式为 json:

{
"INDEX": {
"zh": "中文",
"en": "英文"
},
more ...
}

中英文对照文件

问答对

文件: corpus/pool/train.txt.gz, corpus/pool/valid.txt.gz, corpus/pool/test.txt.gz.

格式: INDEX ++$++ 保险种类 ++$++ 中文 ++$++ 英文

答案

文件: corpus/pool/answers.txt.gz

格式: INDEX ++$++ 中文 ++$++ 英文

语料库使用gzip进行压缩以减小体积，可以使用zmore, zless, zcat, zgrep等命令访问数据。

zmore pool/test.txt.gz

加载数据

import insuranceqa_data as insuranceqa
train_data = insuranceqa.load_pool_train()
test_data = insuranceqa.load_pool_test()
valid_data = insuranceqa.load_pool_valid()

# valid_data, test_data and train_data share the same properties

for x in train_data:

print('index %s value: %s ++$++ %s ++$++ %s' % \
(x, d[x]['zh'], d[x]['en'], d[x]['answers'], d[x]['negatives']))

answers_data = insuranceqa.load_pool_answers()

for x in answers_data:

print('index %s: %s ++$++ %s' % (x, d[x]['zh'], d[x]['en']))

问答对语料

使用"问答语料"，还需要做很多工作才能进入机器学习的模型，比如分词，去停用词，去标点符号，添加label标记。所以，在"问答语料"的基础上，还可以继续处理，但是在分词等任务中，可以借助不同分词工具，这点对于模型训练而言是有影响的。为了使数据能快速可用，insuranceqa-corpus-zh提供了一个使用HanLP分词和去标，去停，添加label的数据集，这个数据集完全是基于"问答语料"。

import insuranceqa_data as insuranceqa
train_data = insuranceqa.load_pairs_train()
test_data = insuranceqa.load_pairs_test()
valid_data = insuranceqa.load_pairs_valid()

# valid_data, test_data and train_data share the same properties

for x in test_data:

print('index %s value: %s ++$++ %s ++$++ %s' % \
(x['qid'], x['question'], x['utterance'], x['label']))

vocab_data = insuranceqa.load_pairs_vocab()
vocab_data['word2id']['UNKNOWN']
vocab_data['id2word'][0]
vocab_data['tf']
vocab_data['total']

vocab_data包含word2id(dict, 从word到id), id2word(dict, 从id到word),tf(dict, 词频统计)和total(单词总数)。其中，未登录词的标识为UNKNOWN，未登录词的id为0。

train_data, test_data 和 valid_data 的数据格式一样。qid 是问题Id，question 是问题，utterance 是回复，label 如果是 [1,0] 代表回复是正确答案，[0,1] 代表回复不是正确答案，所以 utterance 包含了正例和负例的数据。每个问题含有10个负例和1个正例。

train_data含有问题12,889条，数据 141779条，正例：负例 = 1:10 test_data含有问题2,000条，数据 22000条，正例：负例 = 1:10 valid_data含有问题2,000条，数据 22000条，正例：负例 = 1:10

句子长度:

max len of valid question : 31, average: 5(max)
max len of valid utterance: 878(max), average: 165(max)
max len of test question : 33, average: 5
max len of test utterance: 878, average: 161
max len of train question : 42(max), average: 5
max len of train utterance: 878, average: 162
vocab size: 24997

可将本语料库和以下开源码配合使用

DeepQA2: https://github.com/Samurais/DeepQA2

InsuranceQA TensorFlow: https://github.com/l11x0m7/InsuranceQA

Chatbot Retrieval: https://github.com/dennybritz/chatbot-retrieval

声明

声明1 : insuranceqa-corpus-zh

本数据集使用翻译 insuranceQA而生成，代码发布证书 GPL 3.0。数据仅限于研究用途，如果在发布的任何媒体、期刊、杂志或博客等内容时，必须注明引用和地址。

InsuranceQA Corpus, Hai Liang Wang, https://github.com/Samurais/insuranceqa-corpus-zh, 07 27, 2017

任何基于insuranceqa-corpus衍生的数据也需要开放并需要声明和“声明1”和“声明2”一致的内容。

声明2 : insuranceQA

此数据集仅作为研究目的提供。如果您使用这些数据发表任何内容，请引用我们的论文：

Applying Deep Learning to Answer Selection: A Study and An Open Task。Minwei Feng, Bing Xiang, Michael R. Glass, Lidan Wang, Bowen Zhou @ 2015

我爱自然语言处理

I Love Natural Language Processing