大概一年前，我在AINLP的公众号对话接口里基于腾讯800万大的词向量配置了一个相似词查询的接口：
腾讯词向量和相似词、相似度、词语游戏系列
相似词查询：玩转腾讯 AI Lab 中文词向量
玩转腾讯词向量：词语相似度计算和在线查询
腾讯词向量实战：通过Annoy进行索引和快速查询
玩转腾讯词向量：Game of Words（词语的加减游戏）
词向量游戏：梅西-阿根廷+葡萄牙=?
相似词检索，近义词查询，同义词大全，这里不仅仅可查中文
发表回复
标签归档：文本挖掘
词向量游戏：一些有意思的例子
自从把腾讯词向量对接到AINLP公众号后台后，发现相似词相关的查询需求是逐渐增大的，已经不止一次有非CS专业的同学通过后台查询相似词或者相似度来做课程设计，这让我觉得这个事情有一些意义，当然，通过微信（公众号）后台快速查询相似词（同义词、近义词、反义词）这个需求应该是更普遍的，欢迎推荐给有需求的朋友。关于词向量、相似词、相似度、词语加减，这里写了一些文章：
相似词查询：玩转腾讯 AI Lab 中文词向量
玩转腾讯词向量：词语相似度计算和在线查询
腾讯词向量实战：通过Annoy进行索引和快速查询
玩转腾讯词向量：Game of Words（词语的加减游戏）
特别是最后一篇文章，在这篇文章发布后，很多同学通过AINLP的公众号后台对话玩得很嗨，并且在微博、微信平台留言，这里基于大家的群体智慧，提供一些有意思的词（类比）加减例子，这些例子可以直接在AINLP公众号后台测试：
=======不错的词类比（Word Analogy）例子======
机场-飞机+火车=高铁站
Windows-microsoft+google=android
老婆-老公+丈夫=妻子
北京-中国+法国=巴黎
天安门-北京+巴黎=艾菲尔铁塔
渣男-男朋友+女朋友=小三
渣男-男+女=渣女
很快-快+慢=缓慢
马云-互联网+房地产=恒大许家印
北京-中国+美国=华盛顿特区
范冰冰-李晨+刘恺威=大幂幂
射雕英雄传-郭靖+杨过=神雕侠侣
姜文-中国+美国=史泰龙
上海-中国+美国=旧金山
小龙女-杨过+郭靖=黄蓉
梅西-阿根廷+葡萄牙=C罗
梅西-阿根廷+意大利=皮耶罗
飞机场-飞机+火车=火车路
汽车-轮胎+翅膀=飞翔
继续阅读
玩转腾讯词向量：Game of Words（词语的加减游戏）
上一篇文章《腾讯词向量实战：通过Annoy进行索引和快速查询》结束后，觉得可以通过Annoy做一点有趣的事，把“词类比(Word Analogy)”操作放到线上，作为AINLP公众号聊天机器人的新技能，毕竟这是word2vec，或者词向量中很有意思的一个特性，刚好，Annoy也提供了一个基于vector进行近似最近邻查询的接口：
get_nns_by_vector(v, n, search_k=-1, include_distances=False) same but query by vector v.
英文词类比中最有名的一个例子大概就是: king - man + woman = queen, 当我把这个例子换成中文映射到腾讯的中文词向量中并且用gensim来计算，竟然能完美复现：国王 - 男人 + 女人 = 王后
In [49]: result = tc_wv_model.most_similar(positive=[u'国王', u'女人'], negative ...: =[u'男人']) In [50]: print("%s\t%.4f" % result[0]) 王后 0.7050 |
然后把国王换成皇帝，还能完美的将“王后”替换为“皇后”:
In [53]: result = tc_wv_model.most_similar(positive=[u'皇帝', u'女人'], negative ...: =[u'男人']) In [54]: print("%s\t%.4f" % result[0]) 皇后 0.8759 |
虽然知道即使在英文词向量中，完美的词类比列子也不多，另外据说换到中文词向量场景下，上述例子会失效，没想到在腾讯AI Lab这份词向量中得到完美复现，还是要赞一下的，虽然感觉这份腾讯词向量在处理词的边界上不够完美，引入了很多无关介词，但是"大力（量）出奇迹"，882万的词条数，一方面有很高的词语覆盖率，另外一方面可以完美的将英文词向量空间中的"king - man + woman = queen"映射到中文词向量空间的"国王 - 男人 + 女人 = 王后"，不得不感慨一下数学之美，词语之美。
在此前google的时候，据说在中文词向量场景下一个更容易出现的词类比例子是：机场-飞机+火车=火车站，这个确实可以通过gensim在腾讯词向量中得到复现：
In [60]: result = tc_wv_model.most_similar(positive=[u'机场', u'火车'], negative ...: =[u'飞机']) In [61]: print("%s\t%.4f" % result[0]) 火车站 0.7885 |
通过Annoy，我把这个服务做到线上，现在可以在AINLP公众号后台测试，结果看起来也还不错：“机场-飞机+火车=高铁站”：
腾讯词向量实战：通过Annoy进行索引和快速查询
上周《玩转腾讯词向量：词语相似度计算和在线查询》推出后，有同学提到了annoy，我其实并没有用annoy，不过对annoy很感兴趣，所以决定用annoy试一下腾讯 AI Lab 词向量。
学习一个东西最直接的方法就是从官方文档走起：https://github.com/spotify/annoy , Annoy是Spotify开源的一个用于近似最近邻查询的C++/Python工具，对内存使用进行了优化，索引可以在硬盘保存或者加载：Approximate Nearest Neighbors in C++/Python optimized for memory usage and loading/saving to disk。
Annoy (Approximate Nearest Neighbors Oh Yeah) is a C++ library with Python bindings to search for points in space that are close to a given query point. It also creates large read-only file-based data structures that are mmapped into memory so that many processes may share the same data.
照着官方文档，我在自己的机器上进行了简单的测试（Ubuntu16.04, 48G内存, Python2.7, gensim 3.6.0, annoy, 1.15.2），以下是Annoy初探。
安装annoy很简单，在virtuenv虚拟环境中直接：pip install annoy，然后大概可以按着官方文档体验一下最简单的case了：
In [1]: import random In [2]: from annoy import AnnoyIndex # f是向量维度 In [3]: f = 20 In [4]: t = AnnoyIndex(f) In [5]: for i in xrange(100): ...: v = [random.gauss(0, 1) for z in xrange(f)] ...: t.add_item(i, v) ...: In [6]: t.build(10) Out[6]: True In [7]: t.save('test.ann.index') Out[7]: True In [8]: print(t.get_nns_by_item(0, 10)) [0, 45, 16, 17, 61, 24, 48, 20, 29, 84] # 此处测试从硬盘盘索引加载 In [10]: u = AnnoyIndex(f) In [11]: u.load('test.ann.index') Out[11]: True In [12]: print(u.get_nns_by_item(0, 10)) [0, 45, 16, 17, 61, 24, 48, 20, 29, 84] |
看起来还是比较方便的，那么Annoy有用吗? 非常有用，特别是做线上服务的时候，现在有很多Object2Vector, 无论这个Object是Word, Document, User, Item, Anything, 当这些对象被映射到向量空间后，能够快速实时的查找它的最近邻就非常有意义了，Annoy诞生于Spotify的Hack Week，之后被用于Sptify的音乐推荐系统，这是它的诞生背景：
继续阅读
玩转腾讯词向量：词语相似度计算和在线查询
先讲一个故事，自从《相似词查询：玩转腾讯 AI Lab 中文词向量》发布后，AINLP公众号后台查询相似词的信息还是蛮多的。前段时间的一天，发现一个女生id频繁的查询相似词，近乎每分钟都在操作（这里要说明一下，腾讯公众号后台是可以看到用户最近二十条消息记录的，信息会保留5天）。然后第二天这个id依然很规律的在查询相似词，作为偶尔玩玩爬虫、也弄弄网站的程序员，第一反应会不会是程序模拟操作，但是观察下来虽然很规律, 查询频率不像是机器所为，另外貌似到了晚上10点之后这个id就停止查询了。然后到了第3天，依然发现这个id在查询，所以我没有忍住，回复了一句：请确认是否是人工查询？如果这个id没有反馈，依然我行我素的查询，我可能就准备拉黑这个id了。但是她很快回复了一句：是人工查询；我有点好奇的追问了一句：为什么不通过程序直接加载和查询腾讯词向量呢？岂不更方便。她回复：不懂程序，不会，然后大概追加了一句：我在做一个课程设计，需要积攒一批相似词，所以通过AINLP公众号这个功能手动查询了一批词，抱歉带来困扰，感谢背后的程序员。
这个回复让我突然有一种释然，也很开心，觉得做了一件有意义的事情，在52nlp微博的简介里，有两句话：Make something people want; A blog for fools written by fools。第一句话“Make something people want”, 大概就是做用户想用或者有用的东西，这句话我忘了什么时候看到的，因为它触动了我，所以记录在微博简介里了，不过google后发现是硅谷孵化器YC的“口头禅”。
关于word2vec词语相似度，这里早期写过几篇相关的文章：《中英文维基百科语料上的Word2Vec实验》、《维基百科语料中的词语相似度探索》，《相似词查询：玩转腾讯 AI Lab 中文词向量》对于熟悉word2vec，熟悉gensim的同学来说，使用这份腾讯AI Lab的词向量其实很简单，只要有个内存大一些的机器（实际加载后貌似用了12G左右的内存），大概就可以通过几行python代码进行查询了:
from gensim.models.word2vec import KeyedVectors
wv_from_text = KeyedVectors.load_word2vec_format(file, binary=False)
但是这个世界大家并不都是程序员，即使是程序员也有很多同学不了解word2vec, 不知道gensim，所以这个word2vec相似词在线查询功能突然变得有点意思，有那么一点用了。其实，当时给AINLP后台聊天机器人加这个技能点的时候，还想过是否有用或者有必要，不过，经历了开头这件事，并且发现后台有越来越多不同领域查询词的时候，我能感知这件事还是很有意义的，特别对于那些不懂程序的同学来说。不过关于这份腾讯词向量相似词在线查询接口，虽然借助了gensim，但是在线服务的时候并不是基于gensim，用了一些trick，对于高并发也没有太多压力，所以对于开头这个小姑娘的持续查询操作，并不介意，还很欢迎，我介意的是机器恶意查询。
当然，还是有很多同学熟悉词向量，熟悉word2vec，也熟悉gensim的接口，所以发现有部分同学很自然的加了查询操作：相似度 词1 词2，期待AINLP后台相似词查询功能能给出两个值词语相似度，这个需求还是很自然的，所以昨晚，我花了一点时间，把这个接口也加上了，感兴趣的同学可以关注AINLP公众号：
然后后台对话操作，例如这样，选择计算AI和人工智能的相似度，AI和NLP的相似度：
FlyAI算法竞赛平台初体验
前几天在AINLP公众号上分享了国内一个新兴AI算法竞赛平台FlyAI：FlyAI算法竞赛：百万现金奖励实时瓜分，FlyAI算法竞赛平台比较有意思的一点是可以实时分享相关赛道的奖金池，另外完全使用FlyAI官方的GPU资源在线训练模型和提交结果，这一点，对于没有GPU条件的同学来说也是很有吸引力的。
关于文本挖掘或者计算机视觉相关的AI数据竞赛，我觉得如果没有很好的实习机会，参加一些这样的比赛是可以积攒一定的实战经验的，赛事官方一般会为每个任务准备一套baseline流程来熟悉平台和任务，这也是一个很好的学习机会。我之前通过AIChallenger的中英机器翻译比赛熟悉了NMT的整套流程和相关工具和算法，感兴趣的同学可以参考：《AI Challenger 2017 奇遇记》 和 《AI Challenger 2018 简记》。
关于FlyAI算法竞赛平台，官方是这样介绍的：
FlyAI 是隶属于北京智能工场科技有限公司旗下，为AI开发者 （深度学习）提供数据竞赛并支持GPU离线训练的一站式服务平台。每周免费提供项目开源算法样例，样例所使用开发框架涉及TensorFlow、Keras、PyTorch. 支持算法能力变现以及快速的迭代算法模型。挑战者，都在FlyAI!
四大特点：
1. 高质量的数据集、多领域的开源项目案例
1.1 项目涉及领域：自然语言处理、图像识别、语音识别等
1.2 每周更新高质量项目专属代码样例,免费下载查看
1.3 支持多平台运行，一键配置学习环境
2 多卡GPU资源 一键使用
2.1 提供强大算力，快速迭代模型质量
2.2 一键提交离线训练服务，及时通知模型训练进度
3 能力变现、竞赛式项目实力打榜
3.1 挑战项目刷新排行榜，赢得高额悬赏
3.2 使用不同深度学习框架验证，提升自己的算法能力
4 全行业的数据化及AI需求发布平台
4.1 通过算法众包，建立精准的预测模型，为产品数据增长赋能
4.2 探索数据人才与企业需求的生态构建
FlyAI上目前的自然语言处理相关竞赛不是太多，不过官方表态会不断上新，感兴趣的同学可以密切关注。目前FlyAI上NLP相关的竞赛包括：搜狗新闻文本分类预测、美国点评网站Yelp评价预测赛、测测星座文本分类、根据商品评分推荐商品算法练习赛、人工智能和你对对联。前三个有实际的奖金、后两个是练习赛，奖励FAI积分，这个可用于平台上GPU训练资源消耗，不过目前如果你通过这里AINLP的专属链接（https://www.flyai.com/?s=u9Fn9rW4f）注册并且加入到FlyAI竞赛-AINLP官方群，是可以直接找FlyAI小姐姐要积分的，目前该群接近300人，里面有官方技术人员答疑，已无法通过直接扫码加入，加群前请通过AINLP专属链接注册，然后添加AINLP君(id: AINLP2)拉你入群，请务必注明FlyAI:
为了夸夸聊天机器人，爬了一份夸夸语料库
上周为了娱乐，写了一篇《一行Python代码实现夸夸聊天机器人》，虽然只有几十条人工整理的通用夸夸语料，但是貌似也能应付一些简单需求。不过这篇文章在微博、AINLP微信公众号、知乎专栏推送后，还是有很多同学强烈建议丰富语料库。这个建议其实是很不错的，所以周末认真调研了一番，决定从豆瓣上的夸夸小组入手，这里面有很多现成的语料，至于混进微信、QQ夸夸群，收集语料，我觉得不太现实。
豆瓣上有很多夸夸小组，貌似最大的莫过于“相互表扬小组”，最近因为这股夸夸风，据说这个小组已经开始限制加入新人了，我针对这个小组写了一个小爬虫，爬了一份夸夸语料，总计2万6千多个帖子，采集了标题、内容和回复的相关信息，保存为json格式，1个帖子1条，大概是这样的：
{"title": "因为没有男朋友，求夸", "url": "https://www.douban.com/group/topic/135844056/", "author": "71277500", "last_reply_time": "03-17 16:40", "content": "笨人原本一个人好好的，都单了两三年了，一直觉得挺开心的。最近不知道抽了什么风，突然特别想找个男朋友。但是但是，偏偏找不到靠谱的男朋友！现在一个人睡不着，没想明白这事，求夸。\n", "replies_num": "14", "replies": [{"content": "你这么可爱肯定会有一个很好很好的人在等你！", "post_id": "135844056", "comment_id": "1834208628", "user_id": "189783421", "pub_time": "2019-03-16 01:08:38"}, {"content": "最好的肯定要晚点出现哦", "post_id": "135844056", "comment_id": "1834208775", "user_id": "189783421", "pub_time": "2019-03-16 01:08:52"}, {"content": "“笨人”，刚看到开头就笑了", "post_id": "135844056", "comment_id": "1834282396", "user_id": "192799520", "pub_time": "2019-03-16 07:50:50"}, {"content": "一个好可耐的宝宝", "post_id": "135844056", "comment_id": "1834282931", "user_id": "192799520", "pub_time": "2019-03-16 07:52:24"}, {"content": "也许明天就出现了", "post_id": "135844056", "comment_id": "1834290527", "user_id": "185989534", "pub_time": "2019-03-16 08:11:38"}, {"content": "你知道有一个适合你的那个在等你吧", "post_id": "135844056", "comment_id": "1834308924", "user_id": "192597621", "pub_time": "2019-03-16 08:46:23"}, {"content": "如果没有男朋友，肯定是你太优秀", "post_id": "135844056", "comment_id": "1834313229", "user_id": "171520899", "pub_time": "2019-03-16 08:53:19"}, {"content": "没有男朋友多好，省钱", "post_id": "135844056", "comment_id": "1834320533", "user_id": "130379006", "pub_time": "2019-03-16 09:03:42"}, {"content": "哈哈，谢谢好可爱的你呀！", "post_id": "135844056", "comment_id": "1835717925", "user_id": "71277500", "pub_time": "2019-03-17 16:16:58"}, {"content": "有道理", "post_id": "135844056", "comment_id": "1835718260", "user_id": "71277500", "pub_time": "2019-03-17 16:17:22"}, {"content": "也许吧，哈哈哈", "post_id": "135844056", "comment_id": "1835718395", "user_id": "71277500", "pub_time": "2019-03-17 16:17:32"}, {"content": "原本想写本人，一不小心错别字，看样子还是很符合的", "post_id": "135844056", "comment_id": "1835719069", "user_id": "71277500", "pub_time": "2019-03-17 16:18:17"}, {"content": "没有，只是单纯地觉得很可爱，很符合你写一段话的文风😄ཽ……退一步讲，古人讲究谦辞，称呼自己要自谦，本人要说鄙人，你用“笨人”活泼可爱，也能称得上是一种自谦，还是你自创的，有趣", "post_id": "135844056", "comment_id": "1835734308", "user_id": "192799520", "pub_time": "2019-03-17 16:35:21"}, {"content": "哈哈，有道理，我懂了", "post_id": "135844056", "comment_id": "1835738373", "user_id": "71277500", "pub_time": "2019-03-17 16:40:00"}]}
写到这里，估计还是会有同学准备留言索要数据了，因为即使上次区区几十条语料，随便google一下就可以得到的“夸夸语料”都有同学留言索取，所以这里准备多说几句，关于夸夸聊天机器人，关于夸夸语料库。
上个周，在看到清华刘知远老师的评论后，我是用娱乐的心态写了上周的那篇文章：《一行Python代码实现夸夸聊天机器人》，没想到，反响还不错，甚至有一些同学提了很好的建议。所以当周末认真思考这件事的可行性时，突然觉得，夸夸聊天机器人是一个绝好的机器学习实践项目：仅从一个idea出发，怎样做一个不错的夸夸聊天机器人？
作为自然语言处理四大难题之一的自动问答，个人觉得目前还远远不够“智能”，虽然市面上有很多聊天机器人，但是观察来看，以娱乐的心态来对话是可以的，或者完成一些简单的任务是没有问题的，例如询问天气，但是如果抱着很高的期望，很多轮对话下来，基本可以认为这个聊天机器人“不靠谱”， “答非所问”，甚至是个“智障”。虽然通用领域的智能问答或者聊天机器人还有很长的路要走，但是如果把这个问题限定在垂直领域或者很小的需求范围，那么问题可能就有解了，例如夸夸聊天机器人，需求就很简单：做啥都夸。简单的就是随便夸，复杂一点或者个性化的就是夸某个点、某件事、某个人，前者吗，就是上次《一行Python代码实现夸夸聊天机器人》做得事情，准备一些通用夸奖的语料，然后随机夸；后者，需要准备一些夸夸规则和夸夸语料库。
开个玩笑，二十一世纪什么最贵？当然是数据了，确切的说，是面向特定任务的特定数据。现在不缺机器学习框架，不缺算法，不缺机器，甚至不缺“人”，缺什么，就缺数据。这段时间，因为夸夸群的兴起，很多人看到了商机，说不定哪一天你的老板把你找来，直接给扔给你一个任务：做一个夸夸聊天机器人？怎么办，当然要调研啦。花了大半天时间，你了解了聊天机器人的前世今生，发现了人工智能标记语言AIML，知道了Chatbot的种种玩法，基于规则的、基于机器学习模型的、基于知识图谱的等等等等，甚至还有很多智能问答开源框架可以直接套用，最后，当你兴高采烈的准备动手实践的时候，你突然发现，还没有数据，你需要数据，需要夸夸语料库。
继续阅读
一行Python代码实现夸夸聊天机器人
来，做个标题党，娱乐一下。
前两天通过国内NLP才俊清华刘知远老师的朋友圈了解到有个清华夸夸群：
然后今天在知乎又看到他在这个帖子下的评论：如何评价清华夸夸群？
实测疗效颇佳！都有种冲动要开发个夸夸聊天机器人，个性化夸人，终生陪伴左右。
我想这个功能AINLP双语聊天机器人无名可以有啊，虽然还做不到高级的个性化，但是最简单的起码是可以做到的，所以说干就干，用一行Python代码实现了这个功能：
print(random.choice(zan_list))
来，看看效果，其中 zan_list 是我随手整理得“中文夸夸语料库”：
In [1]: import random In [2]: from util import zan_list In [3]: print(random.choice(zan_list)) 您目光深邃，一看您就是一位有思想的人。 In [4]: print(random.choice(zan_list)) 从您的言谈中可以看出，我今天遇到的是很有修养的人。 In [5]: print(random.choice(zan_list)) 别开玩笑了，看您的容貌，肯定不到二十岁。 In [6]: print(random.choice(zan_list)) 这么魁梧的身材，潇洒的外表，不是大老板才怪了呢！ In [7]: print(random.choice(zan_list)) 您一看就是大富大贵的人 In [8]: print(random.choice(zan_list)) 我真佩服您的头脑，多少别人办不成的事，您一到便迎刃而解。 In [9]: print(random.choice(zan_list)) 您的语调独特，言谈话语中充满了感染力。 In [10]: print(random.choice(zan_list)) 听君一席话，胜读十年书，今天与您交谈，我受益匪浅。 In [11]: print(random.choice(zan_list)) 您一看就是大富大贵的人 In [12]: print(random.choice(zan_list)) 您真幽默，话从您口中说出来就是不一样。 In [13]: print(random.choice(zan_list)) 这么魁梧的身材，潇洒的外表，不是大老板才怪了呢！ |
“科学研究”表明，经常被夸奖小朋友学习更好，年轻人更帅更漂亮，老年人更健康，所以大家赶紧关注AINLP公众号，后台对话试试聊天机器人无名的夸夸聊天功能：
关注AINLP后可后台直接对话聊天机器人无名，提供中英双语聊天，可以直接使用中英机器翻译，可以调戏对联机器人，也可以查询相似词，欢迎来撩，欢迎关注：
注：原创文章，转载请注明出处及保留链接“我爱自然语言处理”：https://www.52nlp.cn
相似词查询：玩转腾讯 AI Lab 中文词向量
周末闲来无事，给AINLP公众号聊天机器人加了一个技能点：中文相似词查询功能，基于腾讯 AI Lab 之前公布的一个大规模的中文词向量，例如在公众号对话窗口输入"相似词 自然语言处理"，会得到：自然语言理解、计算机视觉、自然语言处理技术、深度学习、机器学习、图像识别、语义理解、语音识别、自然语言识别、语义分析；输入"相似词 文本挖掘"，会得到：数据挖掘、文本分析、文本数据、自然语言分析、语义分析、文本分类、信息抽取、数据挖掘算法、语义搜索、文本挖掘技术。如下图所示：
关于这份腾讯中文词向量 Tencent_AILab_ChineseEmbedding.txt ，解压后大概16G，可参考去年10月份腾讯官方的描述：腾讯AI Lab开源大规模高质量中文词向量数据，800万中文词随你用
从公开描述来看，这份词向量的质量看起来很不错：
腾讯AI Lab此次公开的中文词向量数据包含800多万中文词汇，其中每个词对应一个200维的向量。相比现有的中文词向量数据，腾讯AI Lab的中文词向量着重提升了以下3个方面，相比已有各类中文词向量大大改善了其质量和可用性：
⒈ 覆盖率（Coverage）：
该词向量数据包含很多现有公开的词向量数据所欠缺的短语，比如“不念僧面念佛面”、“冰火两重天”、“煮酒论英雄”、“皇帝菜”、“喀拉喀什河”等。以“喀拉喀什河”为例，利用腾讯AI Lab词向量计算出的语义相似词如下：
墨玉河、和田河、玉龙喀什河、白玉河、喀什河、叶尔羌河、克里雅河、玛纳斯河
⒉ 新鲜度（Freshness）：
该数据包含一些最近一两年出现的新词，如“恋与制作人”、“三生三世十里桃花”、“打call”、“十动然拒”、“供给侧改革”、“因吹斯汀”等。以“因吹斯汀”为例，利用腾讯AI Lab词向量计算出的语义相似词如下：
一颗赛艇、因吹斯听、城会玩、厉害了word哥、emmmmm、扎心了老铁、神吐槽、可以说是非常爆笑了
⒊ 准确性（Accuracy）：
由于采用了更大规模的训练数据和更好的训练算法，所生成的词向量能够更好地表达词之间的语义关系，如下列相似词检索结果所示：
得益于覆盖率、新鲜度、准确性的提升，在内部评测中，腾讯AI Lab提供的中文词向量数据相比于现有的公开数据，在相似度和相关度指标上均达到了更高的分值。在腾讯公司内部的对话回复质量预测和医疗实体识别等业务场景中，腾讯AI Lab提供的中文词向量数据都带来了显著的性能提升。
当然官方的说法归官方，我还是遇到了一些bad case，例如输入官方例子 "相似词 兴高采烈" 和输入"相似词 腾讯"，我们会发现一些"bad case":
另外这里用到的这份腾讯词向量数据的词条数总计8824330，最长的一个词条是：关于推进传统基础设施领域政府和社会资本合作(ppp)项目资产证券化相关工，查询的结果是：
很像一些文章标题，可能预处理的时候没有对词长做一些限制，感兴趣的同学可以详细统计一下这份词向量的词长分布。当然，少量的 bad case 不会降低这份难得的中文词向量的质量，也不会降低我们玩转这份词向量的兴趣，继续测试一些词或者短语。例如输入"相似词 马化腾"、"相似词 马云"，会得到：
输入"相似词 深度学习"、"相似词 人工智能"会得到：
输入"相似词 AI"、"相似词 NLP"会得到：
当然，要是输入的"词条"没有在这份词库中，AINLP的聊天机器人无名也无能为力了，例如输入"词向量"，"AINLP"，那是没有的：
需要说明的是，这里的查询功能间接借助了gensim word2vec 的相关接口，在腾讯这份词向量说明文档的主页上也有相关的用法提示：Tencent AI Lab Embedding Corpus for Chinese Words and Phrases，可能一些同学早就试验过了。不过对于那些机器资源条件有限的同学，或者不了解词向量、word2vec的同学，这个微信接口还是可以供你们随时查询相近词的，甚至可以给一些查询同义词、近义词或者反义词的同学提供一些线索，当然，从统计学意义上来看这份词向量的查询结果无法做到语言学意义上的准确，但是很有意思，需要自己去甄别。
最后感兴趣的同学可以关注我们的微信公众号AINLP，随时把玩腾讯 AI Lab 的这份词向量：
注：原创文章，转载请注明出处及保留链接“我爱自然语言处理”：https://www.52nlp.cn
本文链接地址：相似词查询：玩转腾讯 AI Lab 中文词向量 https://www.52nlp.cn/?p=11234
AI Challenger 2018 简记
这两天在北京参加了 AI Challenger 2018 总决赛，这次又有点小幸运拿到了英中机器翻译决赛第5名，不过整个过程和去年的《AI Challenger 2017 奇遇记》有所不同。去年参加比赛的定位是“学”，学习NMT的相关知识和调研相关工具；今年参加比赛的定位是“用”，用熟悉的NMT工具。
与去年相比，今年的 AI Challenger 机器翻译赛道做了“优化”，首先没有了同传赛道，这个赛道去年因为有了“同传”二字吓走了一批人，其次最高奖金也降了，降到了20万，所以感觉相比于其他两个文本挖掘赛道，英中文本机器翻译赛道要冷清一些，另外一个原因可能是机器翻译的千万中英双语句对语料对机器资源的要求要高一些。
另外今年 AI Challenger 英中文本机器翻译大赛虽然语料还是口语领域的，但是额外增加了Document上下文语料，也是本次比赛新的命题点和关注点：
继续阅读