语言模型是现代自然语言处理 (NLP) 应用的基石，开创了一种新的范式，即用一个通用系统处理一系列下游任务。随着人工智能 (AI)、机器学习 (ML) 和 NLP 领域的不断发展，对语言模型的深入理解对科学家和工程师都至关重要。本课程旨在引导学生全面理解语言模型的开发过程。我们将借鉴从零开始创建完整操作系统的操作系统课程，引导学生完成语言模型创建的各个环节，包括预训练的数据收集和清理、Transformer 模型的构建、模型训练以及部署前的评估。

课程要求：
1、Python 熟练程度
本课程的大部分作业将使用 Python 完成。与大多数其他 AI 课程不同，本课程将为学生提供极少的框架。你将编写的代码量至少比其他课程多一个数量级。因此，精通 Python 和软件工程至关重要。
2、深度学习和系统优化经验
本课程的很大一部分内容将涉及如何让神经语言模型在多台机器的 GPU 上快速高效地运行。我们希望学生能够熟练掌握 PyTorch，并了解内存层次结构等基本系统概念。
3、大学微积分、线性代数（例如 MATH 51、CME 100）
你应该能够理解矩阵/向量符号和运算。
4、基础概率与统计（例如 CS 109 或同等课程）
你应该了解概率、高斯分布、均值、标准差等基础知识。
5、机器学习（例如 CS221、CS229、CS230、CS124、CS224N）
你应该熟悉机器学习和深度学习的基础知识。