上一篇文章《腾讯词向量实战：通过Annoy进行索引和快速查询》结束后，觉得可以通过Annoy做一点有趣的事，把“词类比(Word Analogy)”操作放到线上，作为AINLP公众号聊天机器人的新技能，毕竟这是word2vec，或者词向量中很有意思的一个特性，刚好，Annoy也提供了一个基于vector进行近似最近邻查询的接口：

get_nns_by_vector(v, n, search_k=-1, include_distances=False) same but query by vector v.


英文词类比中最有名的一个例子大概就是: king - man + woman = queen, 当我把这个例子换成中文映射到腾讯的中文词向量中并且用gensim来计算，竟然能完美复现：国王 - 男人 + 女人 = 王后

In [49]: result = tc_wv_model.most_similar(positive=[u'国王', u'女人'], negative
    ...: =[u'男人'])
 
In [50]: print("%s\t%.4f" % result[0])
王后    0.7050

然后把国王换成皇帝，还能完美的将“王后”替换为“皇后”:

In [53]: result = tc_wv_model.most_similar(positive=[u'皇帝', u'女人'], negative
    ...: =[u'男人'])
 
In [54]: print("%s\t%.4f" % result[0])
皇后    0.8759

虽然知道即使在英文词向量中，完美的词类比列子也不多，另外据说换到中文词向量场景下，上述例子会失效，没想到在腾讯AI Lab这份词向量中得到完美复现，还是要赞一下的，虽然感觉这份腾讯词向量在处理词的边界上不够完美，引入了很多无关介词，但是"大力（量）出奇迹"，882万的词条数，一方面有很高的词语覆盖率，另外一方面可以完美的将英文词向量空间中的"king - man + woman = queen"映射到中文词向量空间的"国王 - 男人 + 女人 = 王后"，不得不感慨一下数学之美，词语之美。

在此前google的时候，据说在中文词向量场景下一个更容易出现的词类比例子是：机场-飞机+火车=火车站，这个确实可以通过gensim在腾讯词向量中得到复现：

In [60]: result = tc_wv_model.most_similar(positive=[u'机场', u'火车'], negative
    ...: =[u'飞机'])
 
In [61]: print("%s\t%.4f" % result[0])
火车站  0.7885

通过Annoy，我把这个服务做到线上，现在可以在AINLP公众号后台测试，结果看起来也还不错：“机场-飞机+火车=高铁站”：

继续阅读 →