台大这门深度学习自然语言处理课程,可能被低估了

估计很多同学的第一反映是李宏毅老师的“深度学习人类语言处理”课程,不过这次我们说的是台湾大学陈蕴侬老师的“应用深度学习”课程,这门课程我们之前在AINLP公众号上推荐过,不过主要给大家推荐的是课程视频和课件资源。前段时间,我把这门课程放在了B站上,并花了一点时间看了一下这门课程,觉得这门课程完全可以叫做“深度学习自然语言处理”,因为基本上就是讲得深度学习NLP的事情。个人觉得这门课程结构安排得相当合理,并且重点在BERT及其相关的内容和NLP任务上,对于学习深度学习自然语言处理的同学来说,完全可以和李宏毅老师深度学习人类语言处理的课程互补。

课程主页:

https://www.csie.ntu.edu.tw/~miulab/s108-adl/

B站传送门:

https://www.bilibili.com/video/BV1Mi4y1V7A1

课程视频及课件网盘链接,请关注AINLP公众号并回复"ADL2020"获取:

AINLP

让我们来看看这门课程的目录吧:

P1 Lecture 1.1 - What is ML什么是机器学习

P2 Lecture 1.2 - What is DL什么是深度学习

P3 Lecture 1.3 - How to Apply如何应用深度学习

P4 Lecture 2.1 - How to Train a Model如何训练模型

P5 Lecture 2.2 - What is Model什么是模型

P6 Lecture 2.3 - What does the 'Good' Function Mean什么叫做好的Function呢

P7 Lecture 2.4 - How can we Pick the 'Best' Function如何找出最好的Function

P8 Lecture 2.5 - Backpropagation效率地计算大量参数

P9 TA Recitation - Optimization

P10 Lecture 3.1 - Word Representations

P11 Lecture 3.2 - Language Modeling语言模型

P12 Lecture 3.3 - Recurrent Neural Network详细解析

P13 Lecture 3.4 - RNN Applications RNN各式应用

P14 TA Recitation - Practical Tips

P15 Lecture 4.1 - Attention Mechanism注意力机制

P16 Lecture 4.2 - Attention Applications注意力的各式应用

P17 Assignment 1 Tutorial

P18 Lecture 5.1 - Word Representation Review词向量各式表示法

P19 Lecture 5.2 - Word2Vec词向量

P20 Lecture 5.3 - Word2Vec Training如何训练词向量

P21 Lecture 5.4 - Negative Sampling

P22 Lecture 5.5 - Word2Vec Variants各种训练的变化方式

P23 Lecture 5.6 - GloVe词向量

P24 Lecture 5.7 - Word Vector Evaluation如何评价词向量的好坏

P25 Lecture 5.8 - Contextualized Word Embeddings前后文相关之词向量

P26 Lecture 5.9 - ELMo芝麻街家族之起源

P27 Lecture 6.1 - Basic Attention基本注意力模型复习

P28 Lecture 6.2 - Self Attention新注意力机制

P29 Lecture 6.3 - Multi-Head Attention

P30 Lecture 6.4- Transformer

P31 Lecture 6.5- BERT进击的芝麻街巨人

P32 TA Recitation- More on Embeddings

P33 Lecture 7.1 - Transformer-XL处理超长输入的Transformer

P34 Lecture 7.2 - XLNet兼顾AR及AE好处的模型

P35 Lecture 7.3 - RoBERTa,SpanBERT,XLM简单有用的改进方法

P36 Lecture 7.4- ALBERT如何让BERT缩小却依然好用呢

P37 TA Recitation - More on Transformers

P38 Lecture 8.1- Deep Reinforcement Learning Introduction

P39 Lecture 8.2- Markov Decision Process

P40 Lecture 8.3- Reinforcement Learning

P41 Lecture 8.4- Value-Based RL Approach

P42 Lecture 8.5- Advanced DQN

P43 Lecture 9.1- Policy Gradient

P44 Lecture 9.2- Actor Critic

P45 Lecture 10.1- Natural Language Generation

P46 Lecture 10.2- Decoding Algorithm

P47 Lecture 10.3- NLG Evaluation

P48 Lecture 10.4- RL for NLG(20-05-12)

P49 TA Recitation- RL for Dialogues

P50 GAN(Quick Review)

P51 GAN Lecture 4(2018)- Basic Theory

P52 GAN Lecture 6(2018)- WGAN,EBGAN

P53 Lecture 11.1- Unsupervised Learning Introduction

P54 Lecture 11.2- Autoencoder & Variational Autoencoder

P55 Lecture 11.3- Distant Supervision & Multi-Task Learning

P56 Lecture 12.1- Conversational AI Introduction对话AI简介

P57 Lecture 12.2- Task-Oriented Dialogues任务型对话

P58 Lecture 12.3- Chit-Chat Social Bots聊天型对话

P59 Lecture 13.1- Robustness对话系统的强健性

P60 Lecture 13.2- Scalability对话系统的扩展性

P61 Final Project- Rules & Grading

P62 Career Sharing求学经验分享

最后,不得不说台大的公开课的质量还是很高的,无论是李宏毅老师,还是陈蕴侬老师的课程,对于需要中文视频课程的同学来说都是非常值得珍惜的。

发表评论

电子邮件地址不会被公开。 必填项已用*标注