Before Neural Networks
在我们尽情享受着当今 LLM 给我们带来的便利的同时，我们往往会忘记，那些曾经没有 NN 的日子是多么的艰难。
当我们回顾深度学习的发展史时，会发现一个有趣的现象: 科学家对于人工神经网络的探索远远早于计算机的发明。早在 1943 年，McCulloch 和 Pitts 就提出了第一个人工神经元模型，而第一台电子计算机 ENIAC 则诞生于 1946 年。在这所谓的 LLM 纪元，我们的思维已经很难理解这种“前寒武纪”时代的 Legacy，而这正是本章的主题。
本章是 Herz, Krogh 和 Palmer 1991 年合著的《Introduction to the Theory of Neural Computation》一书的读书笔记。希望我在阅读完这本书以后，能意识到即使是最简单的 MLP，也蕴含着深刻的数学原理和物理学的智慧。
Introduction
Neural Network is a concept from the brain science.
大脑的特性:
- Robustness: 即使部分神经元受损，大脑仍能正常工作。
- Flexible: 大脑能够适应不同的任务和环境。
- Compact: 大脑的体积相对较小，但功能强大。