标签归档：最近邻

相似词检索，近义词查询，同义词大全，这里不仅仅可查中文

发表回复

大概一年前，我在AINLP的公众号对话接口里基于腾讯800万大的词向量配置了一个相似词查询的接口：

腾讯词向量和相似词、相似度、词语游戏系列
相似词查询：玩转腾讯 AI Lab 中文词向量
玩转腾讯词向量：词语相似度计算和在线查询
腾讯词向量实战：通过Annoy进行索引和快速查询
玩转腾讯词向量：Game of Words（词语的加减游戏）
词向量游戏：梅西-阿根廷+葡萄牙=?

通过这个接口，可以直接输入“相似词 自然语言处理"查询“自然语言处理”的相近词： 继续阅读 →

词向量游戏：一些有意思的例子

2条回复

自从把腾讯词向量对接到AINLP公众号后台后，发现相似词相关的查询需求是逐渐增大的，已经不止一次有非CS专业的同学通过后台查询相似词或者相似度来做课程设计，这让我觉得这个事情有一些意义，当然，通过微信（公众号）后台快速查询相似词（同义词、近义词、反义词）这个需求应该是更普遍的，欢迎推荐给有需求的朋友。关于词向量、相似词、相似度、词语加减，这里写了一些文章：

相似词查询：玩转腾讯 AI Lab 中文词向量
玩转腾讯词向量：词语相似度计算和在线查询
腾讯词向量实战：通过Annoy进行索引和快速查询
玩转腾讯词向量：Game of Words（词语的加减游戏）

特别是最后一篇文章，在这篇文章发布后，很多同学通过AINLP的公众号后台对话玩得很嗨，并且在微博、微信平台留言，这里基于大家的群体智慧，提供一些有意思的词（类比）加减例子，这些例子可以直接在AINLP公众号后台测试：

=======不错的词类比（Word Analogy）例子======

机场-飞机+火车=高铁站

Windows-microsoft+google=android

老婆-老公+丈夫=妻子

北京-中国+法国=巴黎

天安门-北京+巴黎=艾菲尔铁塔

渣男-男朋友+女朋友=小三

渣男-男+女=渣女

很快-快+慢=缓慢

马云-互联网+房地产=恒大许家印

北京-中国+美国=华盛顿特区

范冰冰-李晨+刘恺威=大幂幂

射雕英雄传-郭靖+杨过=神雕侠侣

姜文-中国+美国=史泰龙

上海-中国+美国=旧金山

小龙女-杨过+郭靖=黄蓉

梅西-阿根廷+葡萄牙=C罗

梅西-阿根廷+意大利=皮耶罗

飞机场-飞机+火车=火车路

汽车-轮胎+翅膀=飞翔
继续阅读 →

玩转腾讯词向量：Game of Words（词语的加减游戏）

3条回复

上一篇文章《腾讯词向量实战：通过Annoy进行索引和快速查询》结束后，觉得可以通过Annoy做一点有趣的事，把“词类比(Word Analogy)”操作放到线上，作为AINLP公众号聊天机器人的新技能，毕竟这是word2vec，或者词向量中很有意思的一个特性，刚好，Annoy也提供了一个基于vector进行近似最近邻查询的接口：

get_nns_by_vector(v, n, search_k=-1, include_distances=False) same but query by vector v.

英文词类比中最有名的一个例子大概就是: king - man + woman = queen, 当我把这个例子换成中文映射到腾讯的中文词向量中并且用gensim来计算，竟然能完美复现：国王 - 男人 + 女人 = 王后

In [49]: result = tc_wv_model.most_similar(positive=[u'国王', u'女人'], negative
    ...: =[u'男人'])
 
In [50]: print("%s\t%.4f" % result[0])
王后    0.7050

然后把国王换成皇帝，还能完美的将“王后”替换为“皇后”:

In [53]: result = tc_wv_model.most_similar(positive=[u'皇帝', u'女人'], negative
    ...: =[u'男人'])
 
In [54]: print("%s\t%.4f" % result[0])
皇后    0.8759

虽然知道即使在英文词向量中，完美的词类比列子也不多，另外据说换到中文词向量场景下，上述例子会失效，没想到在腾讯AI Lab这份词向量中得到完美复现，还是要赞一下的，虽然感觉这份腾讯词向量在处理词的边界上不够完美，引入了很多无关介词，但是"大力（量）出奇迹"，882万的词条数，一方面有很高的词语覆盖率，另外一方面可以完美的将英文词向量空间中的"king - man + woman = queen"映射到中文词向量空间的"国王 - 男人 + 女人 = 王后"，不得不感慨一下数学之美，词语之美。

在此前google的时候，据说在中文词向量场景下一个更容易出现的词类比例子是：机场-飞机+火车=火车站，这个确实可以通过gensim在腾讯词向量中得到复现：

In [60]: result = tc_wv_model.most_similar(positive=[u'机场', u'火车'], negative
    ...: =[u'飞机'])
 
In [61]: print("%s\t%.4f" % result[0])
火车站  0.7885

通过Annoy，我把这个服务做到线上，现在可以在AINLP公众号后台测试，结果看起来也还不错：“机场-飞机+火车=高铁站”：


继续阅读 →

腾讯词向量实战：通过Annoy进行索引和快速查询

7条回复

上周《玩转腾讯词向量：词语相似度计算和在线查询》推出后，有同学提到了annoy，我其实并没有用annoy，不过对annoy很感兴趣，所以决定用annoy试一下腾讯 AI Lab 词向量。

学习一个东西最直接的方法就是从官方文档走起：https://github.com/spotify/annoy , Annoy是Spotify开源的一个用于近似最近邻查询的C++/Python工具，对内存使用进行了优化，索引可以在硬盘保存或者加载：Approximate Nearest Neighbors in C++/Python optimized for memory usage and loading/saving to disk。

Annoy (Approximate Nearest Neighbors Oh Yeah) is a C++ library with Python bindings to search for points in space that are close to a given query point. It also creates large read-only file-based data structures that are mmapped into memory so that many processes may share the same data.

照着官方文档，我在自己的机器上进行了简单的测试（Ubuntu16.04, 48G内存, Python2.7, gensim 3.6.0, annoy, 1.15.2），以下是Annoy初探。

安装annoy很简单，在virtuenv虚拟环境中直接：pip install annoy，然后大概可以按着官方文档体验一下最简单的case了：

In [1]: import random
 
In [2]: from annoy import AnnoyIndex
 
# f是向量维度
In [3]: f = 20
 
In [4]: t = AnnoyIndex(f)
 
In [5]: for i in xrange(100):
   ...:     v = [random.gauss(0, 1) for z in xrange(f)]
   ...:     t.add_item(i, v)
   ...:     
 
In [6]: t.build(10)
Out[6]: True
 
In [7]: t.save('test.ann.index')
Out[7]: True
 
In [8]: print(t.get_nns_by_item(0, 10))
[0, 45, 16, 17, 61, 24, 48, 20, 29, 84]
 
# 此处测试从硬盘盘索引加载
In [10]: u = AnnoyIndex(f)
 
In [11]: u.load('test.ann.index')
Out[11]: True
 
In [12]: print(u.get_nns_by_item(0, 10))
[0, 45, 16, 17, 61, 24, 48, 20, 29, 84]

看起来还是比较方便的，那么Annoy有用吗? 非常有用，特别是做线上服务的时候，现在有很多Object2Vector, 无论这个Object是Word, Document, User, Item, Anything, 当这些对象被映射到向量空间后，能够快速实时的查找它的最近邻就非常有意义了，Annoy诞生于Spotify的Hack Week，之后被用于Sptify的音乐推荐系统，这是它的诞生背景：
继续阅读 →