先讲一个故事，自从《相似词查询：玩转腾讯 AI Lab 中文词向量》发布后，AINLP公众号后台查询相似词的信息还是蛮多的。前段时间的一天，发现一个女生id频繁的查询相似词，近乎每分钟都在操作（这里要说明一下，腾讯公众号后台是可以看到用户最近二十条消息记录的，信息会保留5天）。然后第二天这个id依然很规律的在查询相似词，作为偶尔玩玩爬虫、也弄弄网站的程序员，第一反应会不会是程序模拟操作，但是观察下来虽然很规律, 查询频率不像是机器所为，另外貌似到了晚上10点之后这个id就停止查询了。然后到了第3天，依然发现这个id在查询，所以我没有忍住，回复了一句：请确认是否是人工查询？如果这个id没有反馈，依然我行我素的查询，我可能就准备拉黑这个id了。但是她很快回复了一句：是人工查询；我有点好奇的追问了一句：为什么不通过程序直接加载和查询腾讯词向量呢？岂不更方便。她回复：不懂程序，不会，然后大概追加了一句：我在做一个课程设计，需要积攒一批相似词，所以通过AINLP公众号这个功能手动查询了一批词，抱歉带来困扰，感谢背后的程序员。

这个回复让我突然有一种释然，也很开心，觉得做了一件有意义的事情，在52nlp微博的简介里，有两句话：Make something people want; A blog for fools written by fools。第一句话“Make something people want”, 大概就是做用户想用或者有用的东西，这句话我忘了什么时候看到的，因为它触动了我，所以记录在微博简介里了，不过google后发现是硅谷孵化器YC的“口头禅”。

关于word2vec词语相似度，这里早期写过几篇相关的文章：《中英文维基百科语料上的Word2Vec实验》、《维基百科语料中的词语相似度探索》，《相似词查询：玩转腾讯 AI Lab 中文词向量》对于熟悉word2vec，熟悉gensim的同学来说，使用这份腾讯AI Lab的词向量其实很简单，只要有个内存大一些的机器（实际加载后貌似用了12G左右的内存），大概就可以通过几行python代码进行查询了:

from gensim.models.word2vec import KeyedVectors
wv_from_text = KeyedVectors.load_word2vec_format(file, binary=False)


但是这个世界大家并不都是程序员，即使是程序员也有很多同学不了解word2vec, 不知道gensim，所以这个word2vec相似词在线查询功能突然变得有点意思，有那么一点用了。其实，当时给AINLP后台聊天机器人加这个技能点的时候，还想过是否有用或者有必要，不过，经历了开头这件事，并且发现后台有越来越多不同领域查询词的时候，我能感知这件事还是很有意义的，特别对于那些不懂程序的同学来说。不过关于这份腾讯词向量相似词在线查询接口，虽然借助了gensim，但是在线服务的时候并不是基于gensim，用了一些trick，对于高并发也没有太多压力，所以对于开头这个小姑娘的持续查询操作，并不介意，还很欢迎，我介意的是机器恶意查询。

当然，还是有很多同学熟悉词向量，熟悉word2vec，也熟悉gensim的接口，所以发现有部分同学很自然的加了查询操作：相似度 词1 词2，期待AINLP后台相似词查询功能能给出两个值词语相似度，这个需求还是很自然的，所以昨晚，我花了一点时间，把这个接口也加上了，感兴趣的同学可以关注AINLP公众号：

然后后台对话操作，例如这样，选择计算AI和人工智能的相似度，AI和NLP的相似度：

继续阅读 →

周末闲来无事，给AINLP公众号聊天机器人加了一个技能点：中文相似词查询功能，基于腾讯 AI Lab 之前公布的一个大规模的中文词向量，例如在公众号对话窗口输入"相似词 自然语言处理"，会得到：自然语言理解、计算机视觉、自然语言处理技术、深度学习、机器学习、图像识别、语义理解、语音识别、自然语言识别、语义分析；输入"相似词 文本挖掘"，会得到：数据挖掘、文本分析、文本数据、自然语言分析、语义分析、文本分类、信息抽取、数据挖掘算法、语义搜索、文本挖掘技术。如下图所示：

关于这份腾讯中文词向量 Tencent_AILab_ChineseEmbedding.txt ，解压后大概16G，可参考去年10月份腾讯官方的描述：腾讯AI Lab开源大规模高质量中文词向量数据，800万中文词随你用

从公开描述来看，这份词向量的质量看起来很不错：

腾讯AI Lab此次公开的中文词向量数据包含800多万中文词汇，其中每个词对应一个200维的向量。相比现有的中文词向量数据，腾讯AI Lab的中文词向量着重提升了以下3个方面，相比已有各类中文词向量大大改善了其质量和可用性：

⒈ 覆盖率（Coverage）：

该词向量数据包含很多现有公开的词向量数据所欠缺的短语，比如“不念僧面念佛面”、“冰火两重天”、“煮酒论英雄”、“皇帝菜”、“喀拉喀什河”等。以“喀拉喀什河”为例，利用腾讯AI Lab词向量计算出的语义相似词如下：

墨玉河、和田河、玉龙喀什河、白玉河、喀什河、叶尔羌河、克里雅河、玛纳斯河

⒉ 新鲜度（Freshness）：

该数据包含一些最近一两年出现的新词，如“恋与制作人”、“三生三世十里桃花”、“打call”、“十动然拒”、“供给侧改革”、“因吹斯汀”等。以“因吹斯汀”为例，利用腾讯AI Lab词向量计算出的语义相似词如下：

一颗赛艇、因吹斯听、城会玩、厉害了word哥、emmmmm、扎心了老铁、神吐槽、可以说是非常爆笑了

⒊ 准确性（Accuracy）：

由于采用了更大规模的训练数据和更好的训练算法，所生成的词向量能够更好地表达词之间的语义关系，如下列相似词检索结果所示：

得益于覆盖率、新鲜度、准确性的提升，在内部评测中，腾讯AI Lab提供的中文词向量数据相比于现有的公开数据，在相似度和相关度指标上均达到了更高的分值。在腾讯公司内部的对话回复质量预测和医疗实体识别等业务场景中，腾讯AI Lab提供的中文词向量数据都带来了显著的性能提升。

当然官方的说法归官方，我还是遇到了一些bad case，例如输入官方例子 "相似词 兴高采烈" 和输入"相似词 腾讯"，我们会发现一些"bad case":

另外这里用到的这份腾讯词向量数据的词条数总计8824330，最长的一个词条是：关于推进传统基础设施领域政府和社会资本合作(ppp)项目资产证券化相关工，查询的结果是：

很像一些文章标题，可能预处理的时候没有对词长做一些限制，感兴趣的同学可以详细统计一下这份词向量的词长分布。当然，少量的 bad case 不会降低这份难得的中文词向量的质量，也不会降低我们玩转这份词向量的兴趣，继续测试一些词或者短语。例如输入"相似词 马化腾"、"相似词 马云"，会得到：

输入"相似词 深度学习"、"相似词 人工智能"会得到：

输入"相似词 AI"、"相似词 NLP"会得到：

当然，要是输入的"词条"没有在这份词库中，AINLP的聊天机器人无名也无能为力了，例如输入"词向量"，"AINLP"，那是没有的：

需要说明的是，这里的查询功能间接借助了gensim word2vec 的相关接口，在腾讯这份词向量说明文档的主页上也有相关的用法提示：Tencent AI Lab Embedding Corpus for Chinese Words and Phrases，可能一些同学早就试验过了。不过对于那些机器资源条件有限的同学，或者不了解词向量、word2vec的同学，这个微信接口还是可以供你们随时查询相近词的，甚至可以给一些查询同义词、近义词或者反义词的同学提供一些线索，当然，从统计学意义上来看这份词向量的查询结果无法做到语言学意义上的准确，但是很有意思，需要自己去甄别。

最后感兴趣的同学可以关注我们的微信公众号AINLP，随时把玩腾讯 AI Lab 的这份词向量：

注：原创文章，转载请注明出处及保留链接“我爱自然语言处理”：https://www.52nlp.cn

本文链接地址：相似词查询：玩转腾讯 AI Lab 中文词向量 https://www.52nlp.cn/?p=11234