标签归档：word2vec相似度计算

玩转腾讯词向量：Game of Words（词语的加减游戏）

发表回复

上一篇文章《腾讯词向量实战：通过Annoy进行索引和快速查询》结束后，觉得可以通过Annoy做一点有趣的事，把“词类比(Word Analogy)”操作放到线上，作为AINLP公众号聊天机器人的新技能，毕竟这是word2vec，或者词向量中很有意思的一个特性，刚好，Annoy也提供了一个基于vector进行近似最近邻查询的接口：

get_nns_by_vector(v, n, search_k=-1, include_distances=False) same but query by vector v.

英文词类比中最有名的一个例子大概就是: king - man + woman = queen, 当我把这个例子换成中文映射到腾讯的中文词向量中并且用gensim来计算，竟然能完美复现：国王 - 男人 + 女人 = 王后

In [49]: result = tc_wv_model.most_similar(positive=[u'国王', u'女人'], negative
    ...: =[u'男人'])
 
In [50]: print("%s\t%.4f" % result[0])
王后    0.7050

然后把国王换成皇帝，还能完美的将“王后”替换为“皇后”:

In [53]: result = tc_wv_model.most_similar(positive=[u'皇帝', u'女人'], negative
    ...: =[u'男人'])
 
In [54]: print("%s\t%.4f" % result[0])
皇后    0.8759

虽然知道即使在英文词向量中，完美的词类比列子也不多，另外据说换到中文词向量场景下，上述例子会失效，没想到在腾讯AI Lab这份词向量中得到完美复现，还是要赞一下的，虽然感觉这份腾讯词向量在处理词的边界上不够完美，引入了很多无关介词，但是"大力（量）出奇迹"，882万的词条数，一方面有很高的词语覆盖率，另外一方面可以完美的将英文词向量空间中的"king - man + woman = queen"映射到中文词向量空间的"国王 - 男人 + 女人 = 王后"，不得不感慨一下数学之美，词语之美。

在此前google的时候，据说在中文词向量场景下一个更容易出现的词类比例子是：机场-飞机+火车=火车站，这个确实可以通过gensim在腾讯词向量中得到复现：

In [60]: result = tc_wv_model.most_similar(positive=[u'机场', u'火车'], negative
    ...: =[u'飞机'])
 
In [61]: print("%s\t%.4f" % result[0])
火车站  0.7885

通过Annoy，我把这个服务做到线上，现在可以在AINLP公众号后台测试，结果看起来也还不错：“机场-飞机+火车=高铁站”：


继续阅读 →

Start your future on Coursera today.

腾讯词向量实战：通过Annoy进行索引和快速查询

1条回复

上周《玩转腾讯词向量：词语相似度计算和在线查询》推出后，有同学提到了annoy，我其实并没有用annoy，不过对annoy很感兴趣，所以决定用annoy试一下腾讯 AI Lab 词向量。

学习一个东西最直接的方法就是从官方文档走起：https://github.com/spotify/annoy , Annoy是Spotify开源的一个用于近似最近邻查询的C++/Python工具，对内存使用进行了优化，索引可以在硬盘保存或者加载：Approximate Nearest Neighbors in C++/Python optimized for memory usage and loading/saving to disk。

Annoy (Approximate Nearest Neighbors Oh Yeah) is a C++ library with Python bindings to search for points in space that are close to a given query point. It also creates large read-only file-based data structures that are mmapped into memory so that many processes may share the same data.

照着官方文档，我在自己的机器上进行了简单的测试（Ubuntu16.04, 48G内存, Python2.7, gensim 3.6.0, annoy, 1.15.2），以下是Annoy初探。

安装annoy很简单，在virtuenv虚拟环境中直接：pip install annoy，然后大概可以按着官方文档体验一下最简单的case了：

In [1]: import random
 
In [2]: from annoy import AnnoyIndex
 
# f是向量维度
In [3]: f = 20
 
In [4]: t = AnnoyIndex(f)
 
In [5]: for i in xrange(100):
   ...:     v = [random.gauss(0, 1) for z in xrange(f)]
   ...:     t.add_item(i, v)
   ...:     
 
In [6]: t.build(10)
Out[6]: True
 
In [7]: t.save('test.ann.index')
Out[7]: True
 
In [8]: print(t.get_nns_by_item(0, 10))
[0, 45, 16, 17, 61, 24, 48, 20, 29, 84]
 
# 此处测试从硬盘盘索引加载
In [10]: u = AnnoyIndex(f)
 
In [11]: u.load('test.ann.index')
Out[11]: True
 
In [12]: print(u.get_nns_by_item(0, 10))
[0, 45, 16, 17, 61, 24, 48, 20, 29, 84]

看起来还是比较方便的，那么Annoy有用吗? 非常有用，特别是做线上服务的时候，现在有很多Object2Vector, 无论这个Object是Word, Document, User, Item, Anything, 当这些对象被映射到向量空间后，能够快速实时的查找它的最近邻就非常有意义了，Annoy诞生于Spotify的Hack Week，之后被用于Sptify的音乐推荐系统，这是它的诞生背景：
继续阅读 →

Start your future on Coursera today.

玩转腾讯词向量：词语相似度计算和在线查询

5条回复

先讲一个故事，自从《相似词查询：玩转腾讯 AI Lab 中文词向量》发布后，AINLP公众号后台查询相似词的信息还是蛮多的。前段时间的一天，发现一个女生id频繁的查询相似词，近乎每分钟都在操作（这里要说明一下，腾讯公众号后台是可以看到用户最近二十条消息记录的，信息会保留5天）。然后第二天这个id依然很规律的在查询相似词，作为偶尔玩玩爬虫、也弄弄网站的程序员，第一反应会不会是程序模拟操作，但是观察下来虽然很规律, 查询频率不像是机器所为，另外貌似到了晚上10点之后这个id就停止查询了。然后到了第3天，依然发现这个id在查询，所以我没有忍住，回复了一句：请确认是否是人工查询？如果这个id没有反馈，依然我行我素的查询，我可能就准备拉黑这个id了。但是她很快回复了一句：是人工查询；我有点好奇的追问了一句：为什么不通过程序直接加载和查询腾讯词向量呢？岂不更方便。她回复：不懂程序，不会，然后大概追加了一句：我在做一个课程设计，需要积攒一批相似词，所以通过AINLP公众号这个功能手动查询了一批词，抱歉带来困扰，感谢背后的程序员。

这个回复让我突然有一种释然，也很开心，觉得做了一件有意义的事情，在52nlp微博的简介里，有两句话：Make something people want; A blog for fools written by fools。第一句话“Make something people want”, 大概就是做用户想用或者有用的东西，这句话我忘了什么时候看到的，因为它触动了我，所以记录在微博简介里了，不过google后发现是硅谷孵化器YC的“口头禅”。

关于word2vec词语相似度，这里早期写过几篇相关的文章：《中英文维基百科语料上的Word2Vec实验》、《维基百科语料中的词语相似度探索》，《相似词查询：玩转腾讯 AI Lab 中文词向量》对于熟悉word2vec，熟悉gensim的同学来说，使用这份腾讯AI Lab的词向量其实很简单，只要有个内存大一些的机器（实际加载后貌似用了12G左右的内存），大概就可以通过几行python代码进行查询了:

from gensim.models.word2vec import KeyedVectors
wv_from_text = KeyedVectors.load_word2vec_format(file, binary=False)

但是这个世界大家并不都是程序员，即使是程序员也有很多同学不了解word2vec, 不知道gensim，所以这个word2vec相似词在线查询功能突然变得有点意思，有那么一点用了。其实，当时给AINLP后台聊天机器人加这个技能点的时候，还想过是否有用或者有必要，不过，经历了开头这件事，并且发现后台有越来越多不同领域查询词的时候，我能感知这件事还是很有意义的，特别对于那些不懂程序的同学来说。不过关于这份腾讯词向量相似词在线查询接口，虽然借助了gensim，但是在线服务的时候并不是基于gensim，用了一些trick，对于高并发也没有太多压力，所以对于开头这个小姑娘的持续查询操作，并不介意，还很欢迎，我介意的是机器恶意查询。

当然，还是有很多同学熟悉词向量，熟悉word2vec，也熟悉gensim的接口，所以发现有部分同学很自然的加了查询操作：相似度 词1 词2，期待AINLP后台相似词查询功能能给出两个值词语相似度，这个需求还是很自然的，所以昨晚，我花了一点时间，把这个接口也加上了，感兴趣的同学可以关注AINLP公众号：

然后后台对话操作，例如这样，选择计算AI和人工智能的相似度，AI和NLP的相似度：


继续阅读 →

Start your future on Coursera today.

中英文维基百科语料上的Word2Vec实验

358条回复

最近试了一下Word2Vec, GloVe 以及对应的python版本 gensim word2vec 和 python-glove，就有心在一个更大规模的语料上测试一下，自然而然维基百科的语料进入了视线。维基百科官方提供了一个很好的维基百科数据源：https://dumps.wikimedia.org，可以方便的下载多种语言多种格式的维基百科数据。此前通过gensim的玩过英文的维基百科语料并训练LSI，LDA模型来计算两个文档的相似度，所以想看看gensim有没有提供一种简便的方式来处理维基百科数据，训练word2vec模型，用于计算词语之间的语义相似度。感谢Google，在gensim的google group下，找到了一个很长的讨论帖：training word2vec on full Wikipedia ，这个帖子基本上把如何使用gensim在维基百科语料上训练word2vec模型的问题说清楚了，甚至参与讨论的gensim的作者Radim Řehůřek博士还在新的gensim版本里加了一点修正，而对于我来说，所做的工作就是做一下验证而已。虽然github上有一个wiki2vec的项目也是做得这个事，不过我更喜欢用python gensim的方式解决问题。

关于word2vec，这方面无论中英文的参考资料相当的多，英文方面既可以看官方推荐的论文，也可以看gensim作者Radim Řehůřek博士写得一些文章。而中文方面，推荐 @licstar的《Deep Learning in NLP （一）词向量和语言模型》，有道技术沙龙的《Deep Learning实战之word2vec》，@飞林沙 的《word2vec的学习思路》, falao_beiliu 的《深度学习word2vec笔记之基础篇》和《深度学习word2vec笔记之算法篇》等。
继续阅读 →

Start your future on Coursera today.