学习目标
- 1.掌握NLP基础；
- 2.分词；
词法、句法分析
- 3.文本向量化
- 4.HMM与CRF
- 5.基于深度学习NLP算法；
- 6.神经语言模型
- 7.词嵌入方法
- 8.基于大规模语料预训练的词嵌入
课程大纲
第一天：传统的NLP
一、NLP基础知识
- 1、自然语言处理简介
- 2、中文NLP的主要任务
- 3、常见的NLP系统
- 4、NLP的研究机构与资源
二、中文分词
- 1、基于字符串匹配的分词
- 2、统计分词法与分词中的消歧
- 3、命名实体识别
4、常用分词工具：J
IE
BA
三、文本的相似性
- 1、VSM
- 2、TF-IDF
- 3、初步情感分析
四、隐马尔科夫模型
- 1、形式化定义
- 2、三个问题
- 3、评估问题与向前向后算法
- 4、解码问题：维特比算法
- 5、学习问题：Baum-Welch算法
五、条件随机场
- 1、最大熵原理
- 2、无向图模型
- 3、最大团上的势函数
4、工具：CRF++
第二天：从传统到现代
一、从LSA到LDA
- 1、LSA与SVD分解
- 2、pLSA
- 3、LDA
二、神经网络语言模型
- 1、维数的诅咒
- 2、n-gram语言模型
- 3、NNLM的具体实现
- 4、改进的思路
三、word2vec
- 1、one-hot与Distributed
- 2、CBOW
- 3、skip-gram
- 4、Hierachical Softmax
- 5、Negative Sampling
四、循环神经网络（RNN）
- 1、RNN的基础架构
- 2、RNN的示例
- 3、LSTM
4、GRU
第三天：预训练模型之一（变形金刚、芝麻街、独角兽及其他）
一、GloVe
- 1、与word2vec的区别
- 2、统计共现矩阵
- 3、用GloVe训练词向量
二、Transformer
- 1、所有你需要的仅仅是“注意力”
- 2、Transformer中的block
- 3、自注意力与多头注意力
- 4、位置编码（为什么可以抛弃RNN）
三、三大特征抽取器的比较
- 1、CNN、RNN与Transformer的比较
- 2、融合各种模型
四、Elmo
- 1、双向语言模型
- 2、工作原理
- 3、Elmo的应用场景
五、GPT
- 1、“一定会有人用它干坏事”
- 2、GPT的内部架构
- 3、Transformer的演示
- 4、自注意力机制的改进
5、GPT的应用场景
第四天：预训练模型之二（站上BERT的肩头）
一、BERT的前世今生
- 1、之前介绍的模型回顾
- 2、现代NLP的最新应用场景
- 3、条条大路通BERT
二、BERT详解
- 1、原理与方法
- 2、BERT的应用场景
- 3、BERT源码简介
三、站在BERT肩膀上的新秀们
- 1、ERNIE
- 2、XLnet
- 1.希望从事NLP工作的IT技术人员、开发人员等。
2.高校、科研院涉及NLP工作的学生和研究人员。
第一天：传统的NLP