01 数据科学基础 Data Science

理论：课程安排介绍；数据科学基础概念、数据预处理、数据探索/分析/可视化、数据挖掘与建模Lab：配置环境，学习/复习Python 基础

02 机器学习基础 & 自然语言处理简介 Introduction to Machine Learning & Natural Language Processing

理论：自然语言处理主要应用及用例：包括文本分类、情感分析、机器翻译、对话系统等；机器学习基础介绍：线性回归、逻辑回归、决策树、支持向量机等；深度学习基础介绍：神经网络的基本原理、卷积神经网络（CNN）、循环神经网络（RNN）

Lab：简单的自然语言处理任务实现

03 词嵌入 & 文本分类 Word Embedding & Text Classification

理论：稀疏表示：one-hot, ppmi, SVD.；稠密表示：word2vec； 生成式分类模型：generative classifier；朴素贝叶斯 Naive Bayes；判别式分类模型：discriminative classifier；稀疏特征 BoW/N-gram；稠密特征包括深度学习中的嵌入层技术

Lab：Word2vec，基于深度学习的文本分类模型

04 语言模型 Language Modeling (I)

理论：n-gram 语言模型；RNN 循环神经网络与语言模型；RNN，RNN-LM - LSTM / GRU的详细结构和在语言建模中的应用

Lab：基于 RNN 的语言模型的构建与训练

04 语言模型 & 注意力机制 Language Modeling(II) & Attention

理论：注意力机制 Attention；RNN LM with Attention

Lab：注意力机制

05 自注意力机制 Self-attention & Transformer

理论：Transformer Encoder 编码器；Transformer Decoder 解码器； 序列到序列 Seq2Seq，编码器解码器的概念

Lab：huggingface 教学

06 预训练语言模型 Pretrained LM

理论：Encoder LM (BERT)；Decoder-only LM (GPT)；Seq2seq LM (T5)

Lab：huggingface 教学，微调预训练模型

07 大型语言模型 Large Language Model

理论：提示与提示学习 Prompting；上下文学习 In-context Learning；GPT 系列的进化轨迹；基本介绍 (GPT-3, GPT3.5, ChatGPT, GPT4...) ；指令学习 (Super-Inst, Self-Inst, Flan …) ；检索增强；大型语言模型的应用介绍

Lab：大型语言模型的使用

08 进阶学习 Advances

理论：高效语言模型，线性注意力机制；融入知识的自然语言处理；多模态；自然语言处理科研简介