ESL II —— 1 —— 关于EPE(公式2.11,2.13)的推导过程

原公式在ESLII 影印版 Section 2.4（p. 18），猛地一看公式2.11到2.13的推导跳跃性太大，于是搜寻了一些资料，整理如下

1. 定义

对于损失函数$L(Y,f(X))=(Y - f(X))^2$来说，EPE(Expected Prediction Error)定义如下：

$$\begin{align} EPE(f) & = E(Y-f(X))^2 \end{align}$$

其中$X\in\mathbb{R}^p$是$p$维实数向量，$Y\in\mathbb{R}$是实数标量，$f$为我们要学习的映射函数。

2. 推导(2.9)->(2.12)

此步骤从$EPE(f)$公式本身推导出最终用于计算$\arg \min_{f} EPE(f)$的表达式(2.12)。

$$\begin{align} EPE(f) & = \int_{X,Y} (y - f(x))^2 Pr(X=x,Y=y)dxdy \\ & = \int_{X} \Bigg( \int_{Y} (y - f(x))^2 Pr(Y=y|X=x)dy \Bigg) Pr(X=x) dx \tag{1}\\ & = E_X E_{Y|X} ((Y - f(X))^2|X) \\ \end{align}$$

对于上述步骤的公式(1), 由于括号中的部分对于每一个$X=x$都是非负的表达式，因此 最小化一系列非负数字的和，可以转换为最小化每一个加和的表达式。

因此有：

$$\begin{align} \hat{f} & = \arg \min_{f} EPE(f) \\ & = \arg \min_{f} \Bigg( \int_{x} \Big( \int_{y} (y - f(x))^2 Pr(Y=y|X=x)dy \Big) Pr(X=x) dx \Bigg) \\ & = \arg \min_{f, for \ CONST \ X=x} \Bigg( \int_{y} (y - f(x))^2 Pr(Y=y|X=x)dy \Bigg) \\ & = \arg \min_{f} E_{Y|X} ([Y - c]^2|X=x) \tag{2.12}\\ & = \arg \min_{f} F(f) \end{align}$$

这样，公式(2.12)便得到了。

3. 推导(2.12) -> (2.13)

找到形如公式(2.12)的求解表达式后，最小化过程便变得自然起来：

$$\begin{align} \hat{f} & = \arg \min_{f} E_{Y|X} ([Y - c]^2|X=x) \\ \Rightarrow \frac{\partial F(f)}{\partial f} & = \frac{\partial{E_{Y|X} ([Y - c]^2|X=x)}}{\partial f} \\ & = \frac{\partial{\int_{y} (y - f(x))^2 Pr(Y=y|X=x)dy}}{\partial f} \\ & = \int_{y} 2(c - y) Pr(Y=y|X=x) dy \\ & = 2 \big( \int_y c Pr(Y=y|X=x) dy - \int_y y Pr(Y=y|X=x)dy \big) \\ & = 0 \end{align}$$

因此，可以得到:

$$\begin{align} \int_{y} c Pr(Y=y|X=x) dy & = c \int_{y} Pr(Y=y|X=x) dy \\ & = c \\ & = \int_{y} y Pr(Y=y|X=x)dy \\ & = E(Y|X=x) \tag{2.13}\\ \end{align}$$

即为公式(2.13)，$\square$。

参考资料：

EPE Derivation on StackExchange

ESL EPE on StackExchange