Search the library

Type to search · ↑↓ select · ⏎ open · Esc close

Skip to content
Dandan

DANDAN LEARN / AI

从数学到 顶尖 AI

把数学、机器学习、深度学习串成可学可练的体系——先掌握底层语言，再理解模型为什么有效，最后动手把算法跑在真实数据上。

11 chapters · 207 articles

Start reading Browse all chapters

Learning goals

Put principles into practice.

  • 理解线性代数、梯度与优化在模型中的作用
  • 把机器学习方法和深度学习结构联系起来
  • 通过代码章节连接理论与实现

Who this is for

  • 想系统理解机器学习与深度学习的读者

Prerequisites

  • 具备基础编程能力；数学部分可按需补读

A closer look

Contents

11 chapters · 207 articles

Jump to a chapter 11 chapters

序言

3 articles
  1. 自序 · AI 基础Public foreword
  2. 从数学基础开始 →Member article
  3. 直接进深度学习Member article

演进时间线

1 articles
  1. AI 架构演进时间线（1986–2025）Member article

数学基础

6 articles
  1. 矩阵基础与向量空间Member article
  2. 特征值与特征向量Member article
  3. SVD 定理与降维Member article
  4. 梯度下降算法详解Member article
  5. 线性回归原理与推导Member article
  6. 综合实战：PCA 图像压缩与人脸识别Member article

机器学习

6 articles
  1. 决策树：从信息熵到 CARTMember article
  2. 随机森林与 BaggingMember article
  3. 梯度提升与 XGBoostMember article
  4. 评估指标全家桶Member article
  5. 交叉验证与过拟合诊断Member article
  6. 综合实战：Kaggle 竞赛流程模拟Member article

深度学习

7 articles
  1. 感知机与多层神经网络Member article
  2. 反向传播算法推导Member article
  3. 卷积与池化Member article
  4. ResNet 残差网络Member article
  5. LSTM 与 GRU 详解Member article
  6. Self-Attention：从头推导缩放点积注意力Member article
  7. 综合实战：LSTM 情感分析与文本生成Member article

经典统计学习方法（w25–w26）

14 articles
  1. 感知机：原始与对偶形式Member article
  2. KNN 与 kd-tree 从零实现Member article
  3. SVM 与 SMO 算法从零实现Member article
  4. 最大熵模型与 IIS/GISMember article
  5. AdaBoost 与加性模型 / 提升方法Member article
  6. EM 算法：从三硬币到 GMMMember article
  7. HMM 隐马尔可夫模型：三个基本问题Member article
  8. CRF 条件随机场：线性链与序列标注Member article
  9. LSA 潜在语义分析Member article
  10. PLSA 概率潜在语义分析Member article
  11. LDA 潜在狄利克雷分配Member article
  12. K-means / 层次 / 谱聚类Member article
  13. MCMC：MH 与 Gibbs 采样Member article
  14. PageRank：随机游走与幂法迭代Member article

动手学深度学习 · 代码补全（w27）

8 articles
  1. 张量操作与自动求导Member article
  2. Softmax 回归 from-scratchMember article
  3. RNN / GRU / LSTM 从零实现Member article
  4. 现代 CNN 架构演进：NiN / GoogLeNet / BN / ResNet / DenseNetMember article
  5. 计算性能：多 GPU、混合精度、异步计算Member article
  6. CV 数据增广Member article
  7. 目标检测 SSD：锚框、回归、NMSMember article
  8. 神经风格迁移Member article

从零造大模型 · GPT 五讲（w28）

6 articles
  1. BPE 分词与滑动窗口 dataloader（一）Member article
  2. 嵌入与 dataloader（二）Member article
  3. 注意力 from-scratch：simplified → causal → multi-head（三）Member article
  4. GPT 架构组装：LayerNorm + GELU + FFN + 完整模型（四）Member article
  5. GPT 预训练循环 + 文本生成 + 加载 GPT-2 权重（五）Member article
  6. 微调：分类头与指令调优Member article

应用衔接与对齐：LangChain / browser-use / RLHF + DPO（w29）

4 articles
  1. LangChain 核心：Runnable / LCEL / RAG / MemoryMember article
  2. browser-use：让 LLM 操作浏览器Member article
  3. RLHF 完整流程概览：从 PPO 到 DPO 的对齐演进Member article
  4. DPO 从零实现：偏好数据 → DPO loss → 训练 → 评估Member article

深度学习 500 问·知识库（w25–w42）

18 articles
  1. 数学基础Member article
  2. 机器学习基础Member article
  3. 深度学习基础Member article
  4. 经典网络Member article
  5. 卷积神经网络 CNNMember article
  6. 循环神经网络 RNNMember article
  7. 目标检测Member article
  8. 图像分割Member article
  9. 强化学习Member article
  10. 迁移学习Member article
  11. 网络搭建及训练Member article
  12. 优化算法Member article
  13. 超参数调整Member article
  14. GPU 与框架选型Member article
  15. 自然语言处理 NLPMember article
  16. 模型压缩与部署Member article
  17. 后端架构与计算Member article
  18. 软件专利保护Member article

更多文章

134 articles
  1. 矩阵的逆与秩Member article
  2. 矩阵基础Member article
  3. 综合复习与实战Member article
  4. 行列式Member article
  5. 矩阵的逆与秩Member article
  6. 矩阵乘法Member article
  7. 向量进阶Member article
  8. 矩阵对角化的条件与步骤Member article
  9. 特征值（EigenvaluesMember article
  10. 特征向量与特征空间Member article
  11. 特征向量（EigenvectorsMember article
  12. PCA from SVD（主成分分析的 SVD 推导Member article
  13. PCA 与 SVD 的关系及降维实战Member article
  14. SVD 计算（Truncated SVD & Low-Rank ApproximationMember article
  15. SVD 数值计算与 NumPy 实现Member article
  16. 综合实战Member article
  17. 什么是机器学习？Member article
  18. 多项式回归 & 过拟合Member article
  19. 正则化：Ridge & LassoMember article
  20. sklearn 实战：加州房价预测Member article
  21. 综合实战：五大分类算法对决Member article
  22. 逻辑回归Member article
  23. 朴素贝叶斯分类器Member article
  24. 支持向量机 SVMMember article
  25. AdaBoost：弱学习器到强学习器Member article
  26. 模型调优全流程Member article
  27. 综合实战：PyTorch MLP 全流程Member article
  28. 权重初始化与 BatchNormMember article
  29. 优化器进阶Member article
  30. 综合实战：图像分类全流程Member article
  31. 经典 CNN 架构演进Member article
  32. 目标检测入门Member article
  33. 迁移学习Member article
  34. Attention 机制入门Member article
  35. GRU 与序列模型变体Member article
  36. RNN 基础与时序反向传播Member article
  37. Seq2Seq 模型Member article
  38. Capstone：词向量训练 + 可视化 + 情感分类Member article
  39. FastText：子词嵌入与 OOV 处理Member article
  40. GloVe：全局词向量推导Member article
  41. 文本分类：TF-IDF 到 TextCNNMember article
  42. 词向量基础：从 one-hot 到分布式表示Member article
  43. Word2Vec：Skip-gram 与 CBOW 完整推导Member article
  44. BERT：双向预训练语言模型Member article
  45. BERT vs GPT：深度对比与应用选择Member article
  46. Capstone：Mini-Transformer + BERT 情感分类Member article
  47. GPT：自回归语言模型与 In-Context LearningMember article
  48. 位置编码：让 Transformer 感知顺序Member article
  49. Transformer 完整架构：从零实现Member article
  50. Actor-Critic：A2C/PPO 原理与实现Member article
  51. Capstone：DQN vs PPO 完整对比实验Member article
  52. MDP 与 Bellman 方程：强化学习数学基础Member article
  53. Policy Gradient：REINFORCE 完整推导Member article
  54. Q-Learning 与 DQN：从表格到神经网络Member article
  55. 强化学习实战：OpenAI Gym + DQN 调参Member article
  56. Capstone：VAE 完整实验Member article
  57. Diffusion 模型：DDPM 原理与推导Member article
  58. GAN：对抗训练原理与推导Member article
  59. GAN 改进：WGAN、DCGAN 与 StyleGANMember article
  60. 生成模型全面对比Member article
  61. VAE：变分自编码器原理与推导Member article
  62. Capstone：GNN 节点分类完整项目Member article
  63. GAT：图注意力网络Member article
  64. GCN：图卷积网络完整推导Member article
  65. GNN 应用：节点分类、链接预测、图分类Member article
  66. 图的数学基础：邻接矩阵与图拉普拉斯Member article
  67. GraphSAGE：归纳式图学习Member article
  68. Capstone：MovieLens 完整推荐系统Member article
  69. 协同过滤与矩阵分解Member article
  70. 工业推荐系统：召回→排序架构Member article
  71. 推荐系统评估指标Member article
  72. 序列推荐：行为序列建模Member article
  73. 双塔模型：工业级召回架构Member article
  74. Capstone：AI 面试完整备忘录Member article
  75. 手撕机器学习：从零实现经典算法Member article
  76. 深度学习理论面试精讲Member article
  77. 真题精讲：大厂 AI 面试高频题Member article
  78. 概率统计：面试高频概率题Member article
  79. ML 系统设计：大规模机器学习系统Member article
  80. Capstone：端到端 ML 系统完整回顾Member article
  81. 数据工程：采集、清洗与探索性数据分析Member article
  82. 模型部署：FastAPI + Docker 服务化Member article
  83. 特征工程：从原始数据到高质量特征Member article
  84. 模型评估：完整评估体系与误差分析Member article
  85. 模型训练：多模型对比与超参调优Member article
  86. 神经元与神经网络结构Member article
  87. 前向传播：从输入到输出的矩阵推导Member article
  88. 反向传播：链式法则与梯度计算Member article
  89. 激活函数：ReLU 家族与选择指南Member article
  90. 损失函数：MSE、交叉熵与 Focal LossMember article
  91. 纯 NumPy 手写两层神经网络Member article
  92. 卷积操作原理：感受野、padding 与 strideMember article
  93. 池化层与特征图：降采样与可视化Member article
  94. 经典 CNN：LeNet-5 与 AlexNetMember article
  95. VGG 与 Inception：深度哲学 vs 多尺度思维Member article
  96. ResNet：残差连接突破深度极限Member article
  97. PyTorch CNN 实战：CIFAR-10 图像分类Member article
  98. 序列问题与 RNN 基础结构Member article
  99. BPTT 算法与 RNN 的梯度问题Member article
  100. LSTM：长短时记忆网络完整推导Member article
  101. GRU：简化的门控循环单元Member article
  102. PyTorch RNN/LSTM/GRU API 详解Member article
  103. LSTM 情感分类完整项目Member article
  104. 注意力机制：从 Seq2Seq 到 Q/K/V 框架Member article
  105. Self-Attention：序列自查阅机制Member article
  106. Multi-Head Attention 与位置编码Member article
  107. Transformer Encoder 完整架构Member article
  108. Transformer Decoder 与 Mask 机制Member article
  109. 手写 Mini-Transformer：端到端实战Member article
  110. PyTorch Dataset 与 DataLoader 进阶Member article
  111. nn.Module 进阶：模型构建最佳实践Member article
  112. 完整训练管道：混合精度、梯度累积与实验追踪Member article
  113. PyTorch 调试技巧与性能分析Member article
  114. 模型保存、加载与 ONNX 导出Member article
  115. 端到端项目：图像分类竞赛管道Member article
  116. L1 与 L2 正则化：数学原理与实践Member article
  117. Dropout 及其变体：随机正则化技术Member article
  118. 归一化技术全景：BN / LN / IN / GNMember article
  119. 优化器深度解析：从 SGD 到 AdamWMember article
  120. 前沿优化器：Lion、SAM 与自适应学习率Member article
  121. 学习率调度深度实践Member article
  122. 迁移学习原理：为什么预训练有效？Member article
  123. Fine-tuning 策略详解Member article
  124. 预训练视觉模型实战：ResNet / EfficientNet / ViTMember article
  125. BERT / GPT Fine-tuning 实战Member article
  126. 参数高效微调：LoRA 与 PEFTMember article
  127. 域适应与 Few-Shot LearningMember article
  128. 深度学习项目规划与技术选型Member article
  129. 图像语义分割实战：UNet 端到端Member article
  130. NLP 情感分析系统：BERT + LoRA 实战Member article
  131. 模型部署：FastAPI + DockerMember article
  132. 多模态深度学习入门Member article
  133. AI 工程化：监控、A/B 测试与 MLOpsMember article
  134. 24 周 AI 学习路线回顾与未来展望Member article

Reading and learning support

Forewords are public. Other chapters require access to the column or the whole library.

Overview reviewed on

Learning notes and complete roadmap