神经网络基础

---

本章将会全面的、系统的介绍神经网络的基础知识。

• 第 1 节会介绍神经网络背后的数学原理，在介绍的同时会辅以 from scratch 的代码实现，用来加深理解。
• 第 2 节会介绍最最最基本的 nn, 比如 Linear Layer, Activation Function, BatchNorm 等等。同时，会介绍一个简单的神经网络训练模型的所有组成部分。在这里会使用 Pytorch 来实现，希望能够实现一个速查。
• 第 3 节和第 4 节会介绍神经网络的两大经典结构，卷积神经网络和循环神经网络。
• 第 5 节往后介绍更多的神经网络结构和技术，比如 GNN, GAN, DDPM 等等。

从本章后半开始，重点不再只是“网络长什么样”，而是这些结构对应了怎样的数据类型与训练范式：RNN 对应序列因子分解，GNN 对应离散关系结构上的 message passing，GAN 对应 adversarial learning，Diffusion 对应 denoising/score matching，而离散 token 建模则把 cross entropy、mask prediction、preference learning 和 post-training 串到了一起。