课程简介
「TechX 人工智能与深度学习」将会帮助大家揭开表象，探究深度学习技术在不同领域的应用以及背后的技术支持。探索者们将会了解购物网站同款商品推荐、手机相册自动管理背后的理论基础。除此之外，深度学习除了能「看」，能「写」，能「说」，还能「听」。深度学习技术是如何做到听声辨物以及听声辨位的？本课程都将一一为你揭晓，并带你亲身实践。除此之外，探索者们也将了解一些原理部分较抽象或复杂的模型算法。
课程预计成果
通过这一课程，探索者将回顾机器学习知识，全面了解深度学习思维与构架。以计算机视觉和自然语言处理领域为例，带探索者接触前沿算法，并亲自上手实践，完成计算机视觉和自然语言处理领域的初步探索项目。最后会带探索者们简单了解前沿深度学习的进展，比如无监督学习、对比学习、GPT 等算法。最终探索者们将把所学知识与技能运用于各类项目开发及其他深度学习项目当中。
课程大纲
第1天：机器学习入门，统计学习框架，贝叶斯统计
- 监督学习 vs 无监督学习 vs 强化学习
- 问题建模，优化基础
- 训练模型基础
- 贝叶斯统计，朴素贝叶斯算法
- 应用：文本分类
第2天：监督学习：回归、分类
- 线性回归
- 最小二乘回归
- 过拟合和正则化
- 逻辑回归
- 支持向量机（SVM）
- 多类/多标签分类
第3天：降维和聚类
- 最近邻分类：kmeans，层次聚类
- SVD 和 PCA
- 代码实现分析
第4天：神经网络
- 深度学习介绍
- Softmax 回归、损失函数介绍
- Softmax 从零开始实现
- 感知机（MLP）与实现
- 模型初始化、激活函数（activation）
- 建立多层感知器模型，运用梯度下降法训练
- 利用神经网络的多标签分类
第5天： 自然语言处理基础：词向量，语言模型
- 语言模型简介
- word2vec 词向量，GloVe 词向量
- 词语相似度可视化
- 词性标注
第6天：循环神经网络
- 自然语言处理基础
- 序列建模、文本建模、语言模型
- 循环神经网络
- 循环神经网络的从零开始实现
- 门控循环单元（GRU）、长短期记忆网络（LSTM）
- 深层循环神经网络、双向循环神经网络
第7天：自然语言处理实践
- 应用：机器翻译
- 编码器-解码器结构
- 注意力机制
- 使用注意力机制的 seq2seq
- Transformer
- BERT 基础
第8天： 预训练模型
- BERT预训练数据集
- 预训练与微调 BERT
- 自然语言推理：微调 BERT
- 计算机视觉中的预训练
第9天：强化学习简介，深度学习前沿分享
- 强化学习基础概念
- 价值迭代
- Q-学习、深度Q-学习
- 应用：木棒台车平衡问题
- ChatGPT &答疑
前置要求
探索者应有线性代数、微积分、统计领域、机器学习的基础知识。此外，探索者应对 Python 编程有一定基础、了解编程的基本概念。
导师简介
黎世伦
斯坦福大学数学荣誉学士、计算机硕士，伯克利数学博士在读。曾作为斯坦福自然语言处理实验室（Stanford NLP Lab）研究员在Chris Manning教授指导下研究BERT模型相关原理；在斯坦福视觉与学习实验室（Stanford Vision and Learning Lab）作为研究员在李飞飞教授的指导下研究行人预测。除了在深度学习和数学的研究以外，还深入研究过微分几何、理论计算机与量子密码学，并在斯坦福数学系主任Rafe Mazzeo教授的指导下完成与微分几何、双曲几何、Teichmuller理论相关的荣誉学士学位论文。
学术助教
陈欣平
2023
届
帝国理工大学硕士研究生
研究兴趣是信号处理，无线通信，机器学习、院科协负责人
黄方睿
2023
届
斯坦福大学计算机博士
研究方向为AI和生物；曾作为唯一的本科生第一作者在MLCB conference发表文章并被选作oral presentation。
王习森
2022、2023
届
牛津大学
工程专业
金睿祺
2023
届
北京大学
北京大学数学科学学院。中国数学奥林匹克（CMO）金牌，在北京大学经济学院担任研究助理。
张禹珩
2023
届
中国科学院大学
经济学专业直博研究生，清华大学材料科学与工程专业学士，辅修统计学。曾多次获得学业优秀奖学金
相关课程
