授课语言

中文

当前课程费用

20,410

位置

上海

X ACADEMY
全球开拓者峰会
-


2024.07.25 - 08.07

主修课 X-Core

人工智能与自然语言处理

Artificial Intelligence and Natural Language Processing

COURSE INTRO

课程简介 01

COURSE INTRO

课程简介 01

过去的一年我们见证了大语言模型对这个世界的冲击,ChatGPT、Claude、Grok 等模型在不同的行业领域实现了广泛的应用,从简化日常沟通、解决编程问题,到加速科研创新、推动教育变革,乃至参与艺术创作与文化传播,大语言模型正成为推动社会进步的重要力量。随着这些模型能力的不断提升,我们也开始思考:如何更好地理解它们的工作原理?如何评估它们的社会影响?又如何在确保安全、尊重隐私的前提下最大化它们的积极价值?

「TechX 人工智能与自然语言处理」将会为你揭开表象,探究自然语言处理在不同领域的应用背后的技术支持。你将会深入了解工业界广泛使用的框架(如自回归模型等),以及现在面向用户的一些产品技术分析。与此同时,你将在学术领袖的带领下一起探索自然语言处理在诸如社会科学、教育、医疗等其他领域的应用,运用学到的知识对自然语言处理最新技术进行讨论、研究。

过去的一年我们见证了大语言模型对这个世界的冲击,ChatGPT、Claude、Grok 等模型在不同的行业领域实现了广泛的应用,从简化日常沟通、解决编程问题,到加速科研创新、推动教育变革,乃至参与艺术创作与文化传播,大语言模型正成为推动社会进步的重要力量。随着这些模型能力的不断提升,我们也开始思考:如何更好地理解它们的工作原理?如何评估它们的社会影响?又如何在确保安全、尊重隐私的前提下最大化它们的积极价值?

「TechX 人工智能与自然语言处理」将会为你揭开表象,探究自然语言处理在不同领域的应用背后的技术支持。你将会深入了解工业界广泛使用的框架(如自回归模型等),以及现在面向用户的一些产品技术分析。与此同时,你将在学术领袖的带领下一起探索自然语言处理在诸如社会科学、教育、医疗等其他领域的应用,运用学到的知识对自然语言处理最新技术进行讨论、研究。

COURSE OUTCOME

课程产出 02

COURSE OUTCOME

课程产出 02

根据讨论与研究,完成并展出你的科研海报或综述写作或完成属于你的聊天机器人或基于大模型的 Agent 等结合自然语言处理的应用。


*最终产出的类型与内容,以探索者在参与顶点项目 X-Capstone 后的成品为准

根据讨论与研究,完成并展出你的科研海报或综述写作或完成属于你的聊天机器人或基于大模型的 Agent 等结合自然语言处理的应用。


*最终产出的类型与内容,以探索者在参与顶点项目 X-Capstone 后的成品为准

COURSE CONTENTS

课程内容 03

COURSE CONTENTS

课程内容 03

01 自然语言处理简介 & 机器学习基础 Introduction to Natural Language Processing & Machine Learning

理论:自然语言处理应用、例子;基础机器学习与深度学习


02 词嵌入 & 文本分类 Word Embedding & Text Classification

理论:稀疏表示:one-hot, ppmi, SVD.;稠密表示:word2vec; 生成式分类模型:generative classifier;朴素贝叶斯 Naive Bayes;判别式分类模型:discriminative classifier;稀疏特征 BoW/N-gram;稠密特征

Lab:Word2vec,文本分类


03 语言模型 Language Modeling (I)

理论:n-gram 语言模型;RNN 循环神经网络与语言模型;RNN,RNN-LM - LSTM / GRU

Lab:RNN 语言模型


04 语言模型 & 注意力机制 Language Modeling(II) & Attention

理论:注意力机制 Attention;RNN LM with Attention

Lab:注意力机制


05 自注意力机制 Self-attention & Transformer

理论:Transformer Encoder 编码器;Transformer Decoder 解码器; 序列到序列 Seq2Seq,编码器解码器的概念

Lab:huggingface 教学


06 预训练语言模型 Pretrained LM

理论:Encoder LM (BERT);Decoder-only LM (GPT);Seq2seq LM (T5) -

Lab:huggingface 教学


07 大型语言模型 Large Language Model

理论:提示与提示学习 Prompting;上下文学习 In-context Learning;GPT 系列的进化轨迹;基本介绍 (GPT-3, GPT3.5, ChatGPT, GPT4...) ;指令学习 (Super-Inst, Self-Inst, Flan …) ;检索增强;大型语言模型的应用介绍

Lab:大型语言模型的使用


08 进阶学习 Advances

理论:高效语言模型,线性注意力机制;融入知识的自然语言处理;多模态;自然语言处理科研简介

01 自然语言处理简介 & 机器学习基础 Introduction to Natural Language Processing & Machine Learning

理论:自然语言处理应用、例子;基础机器学习与深度学习


02 词嵌入 & 文本分类 Word Embedding & Text Classification

理论:稀疏表示:one-hot, ppmi, SVD.;稠密表示:word2vec; 生成式分类模型:generative classifier;朴素贝叶斯 Naive Bayes;判别式分类模型:discriminative classifier;稀疏特征 BoW/N-gram;稠密特征

Lab:Word2vec,文本分类


03 语言模型 Language Modeling (I)

理论:n-gram 语言模型;RNN 循环神经网络与语言模型;RNN,RNN-LM - LSTM / GRU

Lab:RNN 语言模型


04 语言模型 & 注意力机制 Language Modeling(II) & Attention

理论:注意力机制 Attention;RNN LM with Attention

Lab:注意力机制


05 自注意力机制 Self-attention & Transformer

理论:Transformer Encoder 编码器;Transformer Decoder 解码器; 序列到序列 Seq2Seq,编码器解码器的概念

Lab:huggingface 教学


06 预训练语言模型 Pretrained LM

理论:Encoder LM (BERT);Decoder-only LM (GPT);Seq2seq LM (T5) -

Lab:huggingface 教学


07 大型语言模型 Large Language Model

理论:提示与提示学习 Prompting;上下文学习 In-context Learning;GPT 系列的进化轨迹;基本介绍 (GPT-3, GPT3.5, ChatGPT, GPT4...) ;指令学习 (Super-Inst, Self-Inst, Flan …) ;检索增强;大型语言模型的应用介绍

Lab:大型语言模型的使用


08 进阶学习 Advances

理论:高效语言模型,线性注意力机制;融入知识的自然语言处理;多模态;自然语言处理科研简介

PREREQUISITES

前置要求 04

PREREQUISITES

前置要求 04

线性代数,微积分,统计基础,熟悉 Python 语法,有机器学习基础。


*预习阶段导师与学术领袖将帮助你完成前置要求的学习

线性代数,微积分,统计基础,熟悉 Python 语法,有机器学习基础。


*预习阶段导师与学术领袖将帮助你完成前置要求的学习

"XA 给我自己带来了什么, CS 素养的提高自是不必说,我更感谢的是,能让我遇到最顶尖最优秀的一批同龄人。我见到了活生生的 MIT,CIT 学生,请教了无所不能 debug 的助教,也收获了一堆桌游好友。或许说自己的梦想是改变世界是会被人笑话的,但 XA 给了我把梦想化为现实的底气。

这条路好长,去的地方有诗和理想。昨天留下的一滩泪和汗,造就现在的我越倔强越勇敢。这是 XA 带给我教会我的:我们永远都还可以更勇敢一点。"

Haiyi Jin 探索者
复旦大学

"XA 给我自己带来了什么, CS 素养的提高自是不必说,我更感谢的是,能让我遇到最顶尖最优秀的一批同龄人。我见到了活生生的 MIT,CIT 学生,请教了无所不能 debug 的助教,也收获了一堆桌游好友。或许说自己的梦想是改变世界是会被人笑话的,但 XA 给了我把梦想化为现实的底气。

这条路好长,去的地方有诗和理想。昨天留下的一滩泪和汗,造就现在的我越倔强越勇敢。这是 XA 带给我教会我的:我们永远都还可以更勇敢一点。"



Haiyi Jin 探索者
复旦大学

"XA 给我自己带来了什么, CS 素养的提高自是不必说,我更感谢的是,能让我遇到最顶尖最优秀的一批同龄人。我见到了活生生的 MIT,CIT 学生,请教了无所不能 debug 的助教,也收获了一堆桌游好友。或许说自己的梦想是改变世界是会被人笑话的,但 XA 给了我把梦想化为现实的底气。

这条路好长,去的地方有诗和理想。昨天留下的一滩泪和汗,造就现在的我越倔强越勇敢。这是 XA 带给我教会我的:我们永远都还可以更勇敢一点。"

Haiyi Jin 探索者
复旦大学

MENTORS

课程导师 05

MENTORS

课程导师 05

吴昊一 Haoyi

2024 学术导师

上海科技大学计算机硕士


上海科技大学计算机硕士,从事自然语言处理相关研究,主要关注知识表示与推理、可解释模型以及大语言模型结构优化。曾于国家实验室带领团队开展自然语言处理相关研究工作,后师从屠可伟教授,多项科研成果在自然语言处理顶级学术会议发表。是 Github 开源项目 iTechX 的发起人和主要维护者。本科期间曾作为校队成员参与 ISC 国际超算大赛。现工作于北京通用人工智能研究院,参与自然语言处理相关研究。

吴昊一 Haoyi

2024 学术导师

上海科技大学计算机硕士


上海科技大学计算机硕士,从事自然语言处理相关研究,主要关注知识表示与推理、可解释模型以及大语言模型结构优化。曾于国家实验室带领团队开展自然语言处理相关研究工作,后师从屠可伟教授,多项科研成果在自然语言处理顶级学术会议发表。是 Github 开源项目 iTechX 的发起人和主要维护者。本科期间曾作为校队成员参与 ISC 国际超算大赛。现工作于北京通用人工智能研究院,参与自然语言处理相关研究。

ACADEMIC LEADS

课程助教 06

ACADEMIC LEADS

课程助教 06

张洪蛟 Heather

2024 学术助教

康奈尔大学 科技信息系统专业连接媒体方向


本科就读于纽约大学数据科学专业,研究生就读于康奈尔大学科技信息系统专业连接媒体方向。目前在研二 gap 期间,是一名 BCG 的 Freelance 数据科学家,负责用大语言模型为医药客户做知识库问答小程序开发。曾经在第四范式负责百胜集团新品客户反馈、HR 问答系统知识库等 AIGC 场景应用开发和分析。前端后端数据库等等什么都会一些。喜欢哲学,喜欢电影,喜欢研究好吃的!



陈舒羽 Silvia

2024 学术助教

伊利诺伊香槟分校 计算机与数学专业


目前在本校商院附属的 Disruption Lab 担任 SWE, 主要负责给初创公司用向量数据库和标签生成做搜索系统。 在 Prof. Matthew Caesar 的研究项目 PeopleWeave 里担任研究助理, 负责用大语言模型提升网页对话助手的表现。 下学期即将在国家超算中心(NCSA@illinois)的 SPIN 项目实习。同时也是 Girls Who Code 的一名助教, 主要内容是教小孩姐用 scratch 做养龙游戏。 古典音乐狂热爱好者, 最喜欢的是柴小协。

张洪蛟 Heather

2024 学术助教

康奈尔大学 科技信息系统专业连接媒体方向


本科就读于纽约大学数据科学专业,研究生就读于康奈尔大学科技信息系统专业连接媒体方向。目前在研二 gap 期间,是一名 BCG 的 Freelance 数据科学家,负责用大语言模型为医药客户做知识库问答小程序开发。曾经在第四范式负责百胜集团新品客户反馈、HR 问答系统知识库等 AIGC 场景应用开发和分析。前端后端数据库等等什么都会一些。喜欢哲学,喜欢电影,喜欢研究好吃的!



陈舒羽 Silvia

2024 学术助教

伊利诺伊香槟分校 计算机与数学专业


目前在本校商院附属的 Disruption Lab 担任 SWE, 主要负责给初创公司用向量数据库和标签生成做搜索系统。 在 Prof. Matthew Caesar 的研究项目 PeopleWeave 里担任研究助理, 负责用大语言模型提升网页对话助手的表现。 下学期即将在国家超算中心(NCSA@illinois)的 SPIN 项目实习。同时也是 Girls Who Code 的一名助教, 主要内容是教小孩姐用 scratch 做养龙游戏。 古典音乐狂热爱好者, 最喜欢的是柴小协。

授课语言

中文

当前课程费用

20,410

位置

上海

X ACADEMY
全球开拓者峰会
-


2024.07.25 - 08.06

位置

上海

授课语言

中文

当前课程费用

20,410

X ACADEMY
全球开拓者峰会
-


2024.07.25 - 08.07

常见问题 FAQ

主修课师生比怎么样?

在每一年的 X ACADEMY 暑期项目中,导师 + 助教与探索者数量的比例为 1 : 5,每门课程将会有 1 - 2 名导师及 2 - 5 位课程助教(学术领袖),相比于传统的大班课,你将得到更为充足的交流和学习机会。

听说 X ACADEMY 的主修课非常硬核,开课时会不会跟不上?

在 X ACADEMY 我只能学习一门主修课程吗?

© 2024 | 上海得斯教育科技有限公司 | 成立于 2016. | 沪ICP备2021004001号-6

OUR CIVILIZATION WAS BUILT ON TECHNOLOGY. OUR CIVILIZATION IS BUILT ON TECHNOLOGY. TECHNOLOGY IS THE GLORY OF HUMAN AMBITION AND ACHIEVEMENT, THE SPEARHEAD OF PROGRESS, AND THE REALIZATION OF OUR POTENTIAL. FOR HUNDREDS OF YEARS, WE PROPERLY GLORIFIED THIS – UNTIL RECENTLY. WE, AT X ACADEMY, ARE HERE TO REVITALIZE THAT SPIRIT. TO US, THE FUTURE IS A CANVAS OF VAST POSSIBILITY, PAINTED WITH THE BRUSHES OF INNOVATION, CREATIVITY, AND OPTIMISM. WE BELIEVE IN A FUTURE WHERE TECHNOLOGY CONTINUES TO BE THE BACKBONE OF ADVANCEMENT, NOT JUST IN MATERIAL TERMS BUT AS A MEANS TO ELEVATE HUMAN EXPERIENCE AND CONSCIOUSNESS. WE ARE THE FUTURE OPTIMISTS, THE DREAMERS, THE MAKERS, AND THE DOERS. WE STAND READY TO COLLABORATE, TO INNOVATE, AND TO BUILD A BETTER TOMORROW WITH YOU. JOIN US, AS WE EMBARK ON THIS JOURNEY TO IGNITE THE FLAMES OF PROGRESS AND TO CHERISH THE TECHNOLOGY THAT MAKES IT POSSIBLE. IT IS TIME, ONCE AGAIN, TO RAISE THE TECHNOLOGY FLAG. IT IS TIME TO BE TECHNO-OPTIMISTS. WITH X ACADEMY, LET'S BUILD A BRIGHTER FUTURE TOGETHER.

© 2024 | 上海得斯教育科技有限公司 | 成立于 2016. |

沪ICP备2021004001号-6

OUR CIVILIZATION WAS BUILT ON TECHNOLOGY. OUR CIVILIZATION IS BUILT ON TECHNOLOGY. TECHNOLOGY IS THE GLORY OF HUMAN AMBITION AND ACHIEVEMENT, THE SPEARHEAD OF PROGRESS, AND THE REALIZATION OF OUR POTENTIAL. FOR HUNDREDS OF YEARS, WE PROPERLY GLORIFIED THIS – UNTIL RECENTLY. WE, AT X ACADEMY, ARE HERE TO REVITALIZE THAT SPIRIT. TO US, THE FUTURE IS A CANVAS OF VAST POSSIBILITY, PAINTED WITH THE BRUSHES OF INNOVATION, CREATIVITY, AND OPTIMISM. WE BELIEVE IN A FUTURE WHERE TECHNOLOGY CONTINUES TO BE THE BACKBONE OF ADVANCEMENT, NOT JUST IN MATERIAL TERMS BUT AS A MEANS TO ELEVATE HUMAN EXPERIENCE AND CONSCIOUSNESS. WE ARE THE FUTURE OPTIMISTS, THE DREAMERS, THE MAKERS, AND THE DOERS. WE STAND READY TO COLLABORATE, TO INNOVATE, AND TO BUILD A BETTER TOMORROW WITH YOU. JOIN US, AS WE EMBARK ON THIS JOURNEY TO IGNITE THE FLAMES OF PROGRESS AND TO CHERISH THE TECHNOLOGY THAT MAKES IT POSSIBLE. IT IS TIME, ONCE AGAIN, TO RAISE THE TECHNOLOGY FLAG. IT IS TIME TO BE TECHNO-OPTIMISTS. WITH X ACADEMY, LET'S BUILD A BRIGHTER FUTURE TOGETHER.

© 2024 | 上海得斯教育科技有限公司 | 成立于 2016. |

沪ICP备2021004001号-6

OUR CIVILIZATION WAS BUILT ON TECHNOLOGY. OUR CIVILIZATION IS BUILT ON TECHNOLOGY. TECHNOLOGY IS THE GLORY OF HUMAN AMBITION AND ACHIEVEMENT, THE SPEARHEAD OF PROGRESS, AND THE REALIZATION OF OUR POTENTIAL. FOR HUNDREDS OF YEARS, WE PROPERLY GLORIFIED THIS – UNTIL RECENTLY. WE, AT X ACADEMY, ARE HERE TO REVITALIZE THAT SPIRIT. TO US, THE FUTURE IS A CANVAS OF VAST POSSIBILITY, PAINTED WITH THE BRUSHES OF INNOVATION, CREATIVITY, AND OPTIMISM. WE BELIEVE IN A FUTURE WHERE TECHNOLOGY CONTINUES TO BE THE BACKBONE OF ADVANCEMENT, NOT JUST IN MATERIAL TERMS BUT AS A MEANS TO ELEVATE HUMAN EXPERIENCE AND CONSCIOUSNESS. WE ARE THE FUTURE OPTIMISTS, THE DREAMERS, THE MAKERS, AND THE DOERS. WE STAND READY TO COLLABORATE, TO INNOVATE, AND TO BUILD A BETTER TOMORROW WITH YOU. JOIN US, AS WE EMBARK ON THIS JOURNEY TO IGNITE THE FLAMES OF PROGRESS AND TO CHERISH THE TECHNOLOGY THAT MAKES IT POSSIBLE. IT IS TIME, ONCE AGAIN, TO RAISE THE TECHNOLOGY FLAG. IT IS TIME TO BE TECHNO-OPTIMISTS. WITH X ACADEMY, LET'S BUILD A BRIGHTER FUTURE TOGETHER.