房价预测：
从完美到梯度下降

机器学习训练全流程：在嘈杂的现实中，寻找那个代价最小的妥协方案。

训练的本质：寻找“最不坏”的答案

在理想世界，5套房子的价格等于面积的3倍 ($w=3$)。但在现实中，噪声让方程组无解。我们的目标从“寻找完美解”变成了“最小化误差”——即**最小二乘法**。这就像在一群乱七八糟的散点中，试图拉出一根细绳，让所有点到绳子的总距离达到最小。

ANALYSIS

Residual Minimized

"机器学习不是在寻找真理，而是在嘈杂的现实中，寻找那个代价最小的妥协方案。"

就像调收音机旋钮，你可能永远听不到绝对纯净的音质，但你能找到一个杂音最少、听感最清晰的点。

O(p³)

计算复杂度

正规方程虽能“一步到位”，但处理万级维度时，矩阵求逆会让计算机压力倍增。

解析解

数学家的优雅公式，像直接计算圆面积一样简单，但仅限低维线性。建议：一步到位。

迭代解

工程师的生存本能，在浓雾山顶寻找最陡下坡。建议：小步快跑。

解析解是公式，
迭代解是本能。

面对海量数据，我们不可能每次更新都数一遍所有的羊。全批量太慢，随机太乱，工业界选择了**小批量梯度下降 (Mini-batch)**。

Full-Batch

稳健但极慢

Mini-batch

黄金平衡点 (32-128)

SGD

极速但像醉汉

局部的精确往往是全局效率的敌人；学会‘以偏概全’地采样。

当面积(150)和房龄(1)尺度悬殊，损失函数会变成狭长的**椭圆**，导致下降时疯狂震荡。标准化将特征拉回到均值0、标准差1，将椭圆变圆，让下降路径变直。

标准化参数必须从训练集出，绝不能偷看测试集，否则会产生**数据泄露**。

01 训练本质

寻找最优参数 $\mathbf{w}$ 最小化损失函数 $L(\mathbf{w})$。

02 最小二乘

利用 $L^2$ 范数平方的数学可微性，它是线性回归的首选。

03 计算权衡

低维用正规方程；大规模或非线性必选梯度下降。

04 工业标配

Mini-batch + 特征标准化是现代深度学习的金标准。