跳到主要内容

CMU 11-711 高级自然语言处理

课程名称： Advanced Natural Language Processing
官方入口： 课程主页
视频课程： YouTube 播放列表
课程代码： GitHub: anlp-spring2026-code
课程层级： 研究生进阶
先修要求： 机器学习、深度学习、概率、PyTorch 与基础 NLP
重要程度： ※※※※※

课程定位​

CMU 的 11-711 是面向研究生的 Advanced NLP 课程。2026 春季版由 Sean Welleck 开设，目标是把学生带到现代 NLP 和大语言模型研究的前沿：不仅学习模型结构，也学习如何建模、训练、推理、评估，并最终完成一个开放式研究项目。

这门课更适合已经学过 CS224N、CS288 或 CMU 11-411 这类 NLP 主课的人。它不是入门课，而是把语言模型、LLM 系统和研究实践连起来的一门前沿课。

核心内容​

  • NLP 与语言模型基础、表示学习、词元化
  • 自回归语言建模、RNN、Attention 与 Transformer
  • 预训练、提示学习、微调、解码与检索增强生成
  • 多模态语言模型、模型评估与实验方法
  • 强化学习、偏好优化、语言模型 Agent
  • 量化、并行训练、MoE、长上下文与推理时扩展

课程特点​

  • 课程主页公开了完整 schedule、slides、阅读材料和作业说明
  • YouTube 已发布 Spring 2026 课程视频，适合跟着一整轮系统学习
  • 配套 GitHub 仓库提供多份代码示例，覆盖从语言模型基础到并行、量化等主题
  • 作业和最终项目更偏研究实践，要求学生真正构建、复现、分析系统

学习建议​

如果目标是大语言模型研究或高级 NLP 工程，这门课可以放在 CS224N 之后学习。建议边看视频边跑课程代码，并把每个主题和对应论文串起来：先掌握语言模型训练与推理主线，再深入 RAG、多模态、RLHF / DPO、Agent 和效率优化。