标签归档：深度学习

台大这门深度学习自然语言处理课程，可能被低估了

估计很多同学的第一反映是李宏毅老师的“深度学习人类语言处理”课程，不过这次我们说的是台湾大学陈蕴侬老师的“应用深度学习”课程，这门课程我们之前在AINLP公众号上推荐过，不过主要给大家推荐的是课程视频和课件资源。前段时间，我把这门课程放在了B站上，并花了一点时间看了一下这门课程，觉得这门课程完全可以叫做“深度学习自然语言处理”，因为基本上就是讲得深度学习NLP的事情。个人觉得这门课程结构安排得相当合理，并且重点在BERT及其相关的内容和NLP任务上，对于学习深度学习自然语言处理的同学来说，完全可以和李宏毅老师深度学习人类语言处理的课程互补。

课程主页：

https://www.csie.ntu.edu.tw/~miulab/s108-adl/

B站传送门：

https://www.bilibili.com/video/BV1Mi4y1V7A1

课程视频及课件网盘链接，请关注AINLP公众号并回复"ADL2020"获取：

继续阅读 →

藏头诗生成器有了，藏尾诗生成器还会远吗？

发表回复

自从AINLP公众号后台对话上线自动写诗功能，特别是藏头诗生成器的功能后，发现有不少同学在使用，特别是过程中发现有的同学不仅需要藏头诗，还需要藏尾诗，这也让我第一次了解了藏尾诗。不过如果让用户随意输入尾词，诗句尾部的押韵基本上破坏了，但是作为大众娱乐需求，这功能还是可以有的。所能想到的第一个方法是：基于目前的模型强制在结尾处替换关键字，然后逐句生成，但是这种方法合成的藏尾诗必定会很生硬；第二个方法直接训练一个反向模型：基于GPT2-Chinese，用之前的古诗训练语料逆序训练了一个古诗反向生成模型，然后对于用户的输入，同样也反向处理，最后再正向呈现给用户，这种方法生成的藏尾诗应该会平滑很多。所以说干就干，基于第二种方法训练了一个藏尾诗生成器模型，感兴趣的同学可以关注AINLP公众号，直接回复“藏尾诗输入内容”触发“藏尾诗生成器”，例如：继续阅读 →

一键收藏自然语言处理学习资源大礼包

发表回复

虽然知道大多数同学都有资料收藏癖，还是给大家准备一份自然语言处理学习大礼包，其实是之前陆陆续续分享的NLP学习资源，包括自然语言处理、深度学习、机器学习、数学相关的经典课程、书籍和学习笔记，这些资料基本上都是公开渠道可以获得的，整理到一起，方便NLP爱好者收藏把玩。当然，学习的前提依然是”学自然语言处理，其实更应该学好英语“。

获取方法很简单，关注AINLP公众号，后台回复关键词：ALL4NLP，一键打包收藏NLP学习资源：继续阅读 →

Springer面向公众开放正版电子书籍，附65本数学、编程、数据挖掘、数据科学、数据分析、机器学习、深度学习、人工智能相关书籍链接及打包下载

发表回复

施普林格（Springer）是世界著名的科技期刊、图书出版公司，这次疫情期间面向公众免费开放了一批社科人文，自然科学等领域的正版电子书籍（据说是400多本），towardsdatascience 上有学者将其中65本机器学习和数据科学以及统计相关的免费教材下载链接整理了出来，我试了一下，无需注册，可以直接下载相关的PDF书籍，相当方便：Springer has released 65 Machine Learning and Data books for free（https://towardsdatascience.com/springer-has-released-65-machine-learning-and-data-books-for-free-961f8181f189）。继续阅读 →

自动作诗机&藏头诗生成器：五言、七言、绝句、律诗全了

2条回复

这是自然语言处理里面最有意思的任务之一：自然语言生成，本文主要是指古诗自动写诗，或者自动作诗机，藏头诗生成器，目前支持五言绝句、七言绝句、五言律诗、七言律诗的自动生成（给定不超过7个字的开头内容自动续写）和藏头诗生成（给定不超过8个字的内容自动合成）。先看一下效果，也算是一个简单的自动作诗机和藏头诗生成器使用指南，感兴趣的同学请关注公众号AINLP，直接关键词触发测试：

自动作诗机或者自动写诗：
输入 “写诗起头内容” 触发古诗自动生成（自动续写），输入内容不要超过7个字，会根据字数随机生成几首五言绝句、七言绝句、五言律诗、七言律诗：

藏头诗生成器：
输入 “藏头诗藏头内容” 触发藏头诗自动生成，输入内容不超过8个字，会根据字数随机生成绝句或者律诗：

五言诗生成器：
输入“五言起头内容” 触发五言诗自动生成，输入内容不要超过5个字，会随机生成五言绝句或者五言律诗

七言诗生成器：
输入 “七言起头内容” 触发七言诗自动生成，输入内容不要超过7个字，会随机生成七言绝句或者七言律诗

绝句生成器：
输入 “绝句起头内容” 触发绝句自动生成，输入内容不要超过7个字，会根据字数随机生成五言绝句或者七言绝句

律诗生成器：
输入 “律诗起头内容” 触发律诗自动生成，输入内容不要超过7个字，会根据字数随机生成五言律诗或者七言律诗

五言绝句生成器和五言律诗生成器：
输入 “五言绝句起头内容” 触发五言绝句自动生成，输入 “五言律诗起头内容” 触发五言律诗自动生成，输入内容不要超过5个字：

七言绝句生成器和七言律诗生成器：
输入 “五言绝句起头内容” 触发五言绝句自动生成，输入 “五言律诗起头内容” 触发五言律诗自动生成，输入内容不要超过5个字：

最后让我们再看一下藏头诗自动生成的功能，支持任意8个字以内的输入，以下是对“自然语言”， “自然语言处理”，“我爱自然语言处理”的输入测试：

关于机器自动写诗，我们已经谈到多次，请参考：
AINLP公众号自动作诗上线
 用GPT-2自动写诗，从五言绝句开始
 鼠年春季，用GPT-2自动写对联和对对联

目前用 GPT2-Chinese 这个工具对古诗和对联数据一起训练，设计好数据格式，单个模型可以一站式支持多种体裁古诗和对联生成，非常方便，再次安利。

关于古诗体裁介绍，以下来源于百科：

五言绝句是中国传统诗歌的一种体裁，简称五绝，是指五言四句而又合乎律诗规范的小诗，属于近体诗范畴。此体源于汉代乐府小诗，深受六朝民歌影响，成熟定型于唐代。五绝每首仅二十字，便能展现出一幅幅清新的图画，传达一种种真切的意境。因小见大，以少总多，在短章中包含着丰富的内容，是其最大特色。五绝有仄起、平起二格。代表作品有王维的《鸟鸣涧》、李白的《静夜思》、杜甫的《八阵图》、王之涣的《登鹳雀楼》、刘长卿的《送灵澈上人》等。

七言绝句是中国传统诗歌的一种体裁，简称七绝，属于近体诗范畴。此体全诗四句，每句七言，在押韵、粘对等方面有严格的格律要求。诗体起源于南朝乐府歌行或北朝乐府民歌，或可追溯到西晋的民谣，定型、成熟于唐代。代表作品有王昌龄的《芙蓉楼送辛渐二首》、李白的《早发白帝城》、杜甫的《江南逢李龟年》、厉声教的《观潮有感》等。

五言律诗，是中国传统诗歌的一种体裁，简称五律，属于近体诗范畴。此体发源于南朝齐永明时期，其雏型是沈约等讲究声律、对偶的新体诗，至初唐沈佺期、宋之问时基本定型，成熟于盛唐时期。全篇共八句，每句五个字，有仄起、平起两种基本形式，中间两联须作对仗。代表作品有李白的《送友人》、杜甫的《春望》、王维的《山居秋暝》、厉声教的《辛卯季春谒厉杭二公祠》等。

七言律诗是中国传统诗歌的一种体裁，简称七律，属于近体诗范畴，起源于南朝齐永明时沈约等讲究声律、对偶的新体诗，至初唐沈佺期、宋之问等进一步发展定型，至盛唐杜甫手中成熟。其格律严密，要求诗句字数整齐划一，由八句组成，每句七个字，每两句为一联，共四联，分首联、颔联、颈联和尾联，中间两联要求对仗。代表作品有崔颢的《黄鹤楼》、杜甫的《登高》、李商隐的《安定城楼》等。

李宏毅老师2020新课深度学习与人类语言处理正式开放上线

发表回复

前两天李宏毅老师机器学习2020版刚刚上线，这么他又马不停蹄的推出了又一款良心大作：深度学习与人类语言处理（Deep Learning for Human Language Processing），非常适合NLPer门来追！

课程主页，包含视频和其他相关资料链接，建议保存：

http://speech.ee.ntu.edu.tw/~tlkagk/courses_DLHLP20.html

看了第一节课程视频，这门课程之所以叫做深度学习与人类语言处理，而不是深度学习与自然语言处理，主要是这门课程里文字和语音的内容个占一半，另外主要关注近3年的相关技术，譬如BERT及之后的预处理模型将重点讲述，非常值得期待。我们建立了一个这门课程的学习交流群，感兴趣的同学可以添加微信AINLPer（id: ainlper) ，备注“李宏毅”进群一起交流学习。

目前这门课程已经放出了2节课程内容，分别是课程概览和语音识别第一部分，感兴趣的同学可以直接观看：

如果觉得这个还不过瘾，可以关注AINLP公众号，回复"DLHLP"，获取这门课程前2节课程视频和Slides，以后会持续更新相关资料。

关于AINLP

AINLP 是一个有趣有AI的自然语言处理社区，专注于 AI、NLP、机器学习、深度学习、推荐算法等相关技术的分享，主题包括文本摘要、智能问答、聊天机器人、机器翻译、自动生成、知识图谱、预训练模型、推荐系统、计算广告、招聘信息、求职经验分享等，欢迎关注！加技术交流群请添加AINLP君微信(id：AINLP2)，备注工作/研究方向+加群目的。

用 GPT-2 自动写诗，从五言绝句开始

发表回复

春节前用 GPT2 训练了一个自动对联系统：鼠年春节，用 GPT-2 自动生成（写）春联和对对联，逻辑上来说这套NLG方法论可以应用于任何领域文本的自动生成，当然，格式越固定越好，这让我自然想到了自动写诗词，诗词的格式相对比较固定，我们之前已经有所涉及，譬如已经在AINLP公众号上上线了自动写藏头诗和首字诗的功能，不过是直接复用的："自动作诗机"上线，代码和数据都是公开的，另外还有一个更大的诗词数据项目可以用作自动作诗的“原料”：【Github】Chinese-poetry: 最全中华古诗词数据库，加上 GPT2-Chinese 这个项目：【Github】GPT2-Chinese：中文的GPT2训练代码，可以说万事俱备，只欠试用。

所以本周我们从五言绝句开始继续自然语言生成的主题，关于五言绝句，百度百科是这样说的：

五言绝句是中国传统诗歌的一种体裁，简称五绝，是指五言四句而又合乎律诗规范的小诗，属于近体诗范畴。此体源于汉代乐府小诗，深受六朝民歌影响，成熟定型于唐代。五绝每首仅二十字，便能展现出一幅幅清新的图画，传达一种种真切的意境。因小见大，以少总多，在短章中包含着丰富的内容，是其最大特色。五绝有仄起、平起二格。代表作品有王维的《鸟鸣涧》、李白的《静夜思》、杜甫的《八阵图》、王之涣的《登鹳雀楼》、刘长卿的《送灵澈上人》等。

我主要用了 Chinese-poetry 里的《全唐诗》和《全宋诗》数据，首先向这个项目的作者致敬：

《全唐诗》是清康熙四十四年（1705年），彭定求、沈三曾、杨中讷、汪士鋐、汪绎、俞梅、徐树本、车鼎晋、潘从律、查嗣瑮10人奉敕编校，“得诗四万八千九百余首，凡二千二百余人”，共计900卷，目录12卷。来自百科

《全宋诗》继唐诗的高度繁荣之后，宋诗在思想内容和艺术表现上有新的开拓和创造，出现了许多优秀作家作品，形成了许多流派，对元、明、清的诗歌发展产生了深远影响。

说明
《全唐诗》和《全宋诗》是繁体存储，如有需要请自己转换，但转换后的字不符合上下文。

这里需要首先通过OpenCC做了繁简转换，其次提取里面的五言绝句，最后转换为 GPT2-Chinese 的训练格式，然后就是训练和测试了，感兴趣的同学可以自己尝试，很方便，训练经验可以复用上文关于自动对联的:

1）训练数据可以按 GPT2-Chinese 训练数据的格式要求写个脚本进行转换，可以加一些标记符，这样在生成的时候可以基于这些标记符做trick；
2）训练时请将参数 min-length 设置为一个较小的数字，默认为128，由于对联数据长度比较短，按默认的设置训练后只会得到乱码，我直接设置为1;
3）根据自己GPU显存的大小调整 batch_size 和配置参数, 这里 batch_size 默认为8，训练时在1080TI的机器上会出现OOM，将其设置为4就可以完全跑通了，其他参数不用动；

自动作诗GPT2模型训练完成后，可以直接基于 GPT2-Chinese 里面的 generate.py 脚本进行测试，很方便，我基于 generate.py 和 flask-restful 写了一个 server 版本，对接到AINLP公众号后台了，感兴趣的同学可以关注AINLP公众号，直接进行测试：

关键词“写诗/作诗”触发诗歌的自动生成，例如输入“写诗春”，自动作诗模型会基于“春”进行自动续写，会给出以“春”开头的诗，给出其他的字同理，目前不能多于五个字，因为只能自动生成五言绝句：

关键词“藏头诗”触发藏头诗生成，例如输入“藏头诗春夏秋冬"，基于GPT2模型叠加trick生成：

最后，欢迎关注AINLP公众号，测试自动写诗作诗和藏头诗生成器功能：

关于AINLP对话功能模块，感兴趣的同学可以参考：

腾讯词向量和相似词、相似度、词语游戏系列
相似词查询：玩转腾讯 AI Lab 中文词向量
 玩转腾讯词向量：词语相似度计算和在线查询
 腾讯词向量实战：通过Annoy进行索引和快速查询
 玩转腾讯词向量：Game of Words（词语的加减游戏）
词向量游戏：梅西-阿根廷+葡萄牙=?
腾讯 800 万中文词向量 API Demo 搭建

自动对联及作诗机
风云三尺剑，花鸟一床书---对联数据集和自动对联机器人
 自动对联活动获奖结果以及机器对联赏析
 "自动作诗机"上线，代码和数据都是公开的
 鼠年春节，用 GPT-2 自动写对联和对对联

夸夸聊天机器人及其他技能
一行Python代码实现夸夸聊天机器人
 为了夸夸聊天机器人，爬了一份夸夸语料库
 夸夸聊天机器人升级：从随机到准个性化
 来，试试语音（识别）聊天（机器人）
来，试试成语接龙
 推荐一份中文数据，来试试汉字、词语、成语、歇后语在线检索
 AINLP公众号新增"狗屁不通文章生成器"接口
 来，试试彩虹屁生成器

如果对AINLP公众号感兴趣，也欢迎参考我们的年度阅读清单：AINLP年度阅读收藏清单

鼠年春节，用 GPT-2 自动生成（写）春联和对对联

发表回复

鼠年春节临近，来试试新的基于 GPT2-Chinese 自动对联系统：自动写对联（输入开头进行对联自动生成）和自动对对联（输入上联自动写下联）。老的自动对联功能是去年基于深度学习机器翻译模型上线的一个自动对对联的对话模块：风云三尺剑，花鸟一床书---对联数据集和自动对联机器人。

这一年来，以BERT为代表的预训练模型不断推陈出新，席卷整个自然语言处理（NLP）领域，这其中NLP的难题之一自然语言生成（NLG）也得到了很大的助力，特别是去年上半年 OpenAI 的 GPT-2 的推出，非常惊艳，不过 GPT-2 的模型主要是基于英文领域的语料训练的，虽然到目前为止已经发布了含有15亿参数的完整模型，对于英文领域的自动文本生成非常有帮助，但是对于中文领域的NLG来说还是很受限。

回到中文领域，我们之前推荐过AINLP技术交流群杜则尧同学的开源项目 GPT2-Chinese：GPT2-Chinese：《【Github】GPT2-Chinese：中文的GPT2训练代码》，这个项目可以针对中文数据进行GPT-2模型的训练，可以写诗，新闻，小说，或是训练通用语言模型。所以对于自动对联生成来说，我能想到的就是基于GPT2-Chinese和对联数据训练一份对联领域的GPT2模型，用于对联自动生成：写对联和对对联。幸运的是，对联数据已经有了，依然是我们去年使用过 couplet-dataset ，特别感谢提供这份数据的同学，这份对联数据包含70多万条对联，唯一可惜的是没有横批，要是有横批，就可以造更完整的自动写对联和对对联系统了。

特别需要说明的是，这里并不是基于一个大的中文 GPT-2 模型进行特定领域 finetune 的，虽然目前已经有了大型的中文 GPT-2 预训练模型：gpt2-ml ，但是和 GPT2-Chinese 是两个体系，而 GPT2-Chinese 目前还不支持这个大模型的迁移。关于如何使用 GPT2-Chinese 进行对联数据的 GPT2 模型训练，这个项目的代码和文档都写得非常清楚，直接参考即可，如果有问题，可以查看一下issue，我遇到的问题基本上就是通过文档和issue解决的，这里提几个注意的点：

1）训练数据可以按 GPT2-Chinese 训练数据的格式要求写个脚本进行转换，可以加一些标记符，譬如开头，结尾以及上联下联之间的分隔符，这样在生成的时候可以基于这些标记符做trick；
2）训练时请将参数 min-length 设置为一个较小的数字，默认为128，由于对联数据长度比较短，按默认的设置训练后只会得到乱码，我直接设置为1;
3）根据自己GPU显存的大小调整 batch_size 和配置参数, 这里 batch_size 默认为8，训练时在1080TI的机器上会出现OOM，将其设置为4就可以完全跑通了，其他参数不用动；

对联 GPT-2 模型训练完成后，可以直接基于 GPT2-Chinese 里面的 generate.py 脚本进行测试，很方便，我基于 generate.py 和 flask-restful 写了一个 server 版本，对接到AINLP公众号后台了，感兴趣的同学可以关注AINLP公众号，直接进行测试：

关键词“写对联”触发对联自动生成，例如输入“写对联鼠年”，对联模型会基于“鼠年”进行自动续写，会给出以“鼠年”开头大概3个对联：

关键词“对对联”触发基于上联对下联，例如输入“对对联一帆风顺年年好”，会给出大概3个候选对联：

当然你可以用“上联”触发老的对联版本进行对比：

至于两个版本的效果，欢迎多做对比，如果遇到了很棒的机器对联，也欢迎在评论里分享。最后，欢迎关注AINLP公众号，测试自动生成对联和自动对对联功能：

关于AINLP对话功能模块，感兴趣的同学可以参考：

自动对联及作诗机
风云三尺剑，花鸟一床书---对联数据集和自动对联机器人
 自动对联活动获奖结果以及机器对联赏析
 "自动作诗机"上线，代码和数据都是公开的

如果对AINLP公众号感兴趣，也欢迎参考我们的年度阅读清单：AINLP年度阅读收藏清单

认真推荐一份深度学习笔记：简约而不简单

3条回复

认真推荐一份深度学习笔记：dl-notes ，作者是我的师兄朱鉴，很多年前，他也给过我一份《无约束最优化》的笔记，在这里发布过。这份文件虽然被他命名为：一份简短的深度学习笔记，但是我读完后的第一反应是：简约而不简单。师兄在工作上一直是我的偶像，他在腾讯深耕自然语言处理相关方向6年，之后又一直在小米打拼，作为技术专家，现在主要负责对话系统相关的工作。他在工作上兢兢业业，但是工作之余也一直在学习，前两天他把这份笔记给我，说这是工作之余学习的一个总结，希望分享给大家。这份深度学习笔记共有150多页，从基础的微积分、线性代数、概率论讲起，再到数值计算、神经网络、计算图、反向传播、激活函数、参数优化、损失函数、正则化等概念，最后落笔于网络架构，包含前向网络、卷积网络、递归网络以及Transformer和Bert等，涵盖的内容非常系统全面。强烈推荐给大家，个人觉得这是一份极好的深度学习中文材料，可用于深度学习入门或者平时工作参考，当然也可以基于这份笔记的任何一个章节做深度扩展阅读和学习。

以下是这份笔记的完整目录：

继续阅读 →

通过Docker部署深度学习项目环境

发表回复

深度学习环境部署的方法有很多种，其中Docker化深度学习环境和项目是一个很不错的选择。这里写过一些深度学习主机安装和部署的文章，这篇文章记录一下相关的通过Docker来部署和测试深度学习项目的一些经验，以下是在一台4卡1080TI，Ubutu16.04的机器上的记录。

一、安装Docker：

关于Docker的相关介绍资料比较多，这里就不多说了，感兴趣的同学可以自行Google或者看一下参考资料。

1）使用APT安装:

$ sudo apt-get update

$ sudo apt-get install \
        apt-transport-https \
        ca-certificates \
        curl \
            software-properties-common

2) 使用国内源：

curl -fsSL https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
# 官方源
# $ curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

3) 向source_list添加Docker源:

$ sudo add-apt-repository \
            "deb [arch=amd64] https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu
            \
                $(lsb_release -cs) \
                stable"

# 官方源
# $ sudo add-apt-repository \
#    "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
#    $(lsb_release -cs) \
#    stable"

4)更新 apt 软件包缓存，并安装 docker-ce：

$ sudo apt-get update
$ sudo apt-get install docker-ce

5) 添加用户组（安装后貌似这个组已经存在了）：

sudo groupadd docker

6) 将当期用户添加到这个组里并退出重新登录:

sudo usermod -aG docker $USER

7) 测试Docker:

docker run hello-world

8）添加过内镜像代理：

sudo vim /etc/docker/daemon.json
{
    "registry-mirrors": [
        "https://registry.docker-cn.com"
    ]
}

9）重启Docker服务

sudo systemctl daemon-reload
sudo systemctl restart docker

二、安装nvidia-docker：

单独安装Docker之后还无法使用带GPU的深度学习机器，需要再安装一下英伟达出品的Nvidia-docker。

1）安装：

# Add the package repositories
$ distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
$ curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
$ curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

$ sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
$ sudo systemctl restart docker

继续阅读 →