我们熟悉 标量对标量 的求导，因为这是高数、微积分的基础。 但是在神经网络的学习中，常常处理的是 向量对向量 的求导。

这里我们采用由浅入深的方式介绍

  1. 标量对标量
  2. 标量对向量
  3. 向量对标量
  4. 向量对向量
  5. 链式法则 (Chain Rule)

这里参考 王圣元 (2019)

标量对标量

组合含有 京东一股

\[组合 = 1 \cdot 京东 \xrightarrow{京东变动1美元} \frac{d 组合}{d 京东} = 1\]

标量对向量

组合含有三种股票 一股京东，两股百度，三股脸书

\[\frac{d 组合}{d 股票} = \frac{d 组合}{d [京东, 百度, 脸书]} = \begin{bmatrix} \frac{d 组合}{d 京东} & \frac{d 组合}{d 百度} & \frac{d 组合}{d 脸书} \end{bmatrix} = \begin{bmatrix} 1 & 2 & 3 \end{bmatrix}\]

把 LaTeX 编辑好

向量对标量

有两个组合，都买了京东

  1. a 买了1股
  2. b 买了4股

\[\frac{\mathbb{d} \space 组合}{\mathbb{d} \space 京东} = \frac{\mathbb{d} \space \begin{bmatrix} 组合a & 组合b \end{bmatrix} }{\mathbb{d} \space 京东} = \begin{bmatrix} \frac{\mathbb{d} \space 组合a}{\mathbb{d} \space 京东} & \frac{\mathbb{d} \space 组合b}{\mathbb{d} \space 京东} \end{bmatrix} = \begin{bmatrix} 1 & 4 \end{bmatrix}\]

向量对向量

  1. 组合a 买了一股京东，两股百度，三股脸书
  2. 组合b 买了四股京东，五股百度，六股脸书

变动为

  1. 当京东变动 1 美元，斯蒂文的组合 A 变动 1 美元，雪莉的组合 B 变动 4 美元
  2. 当百度变动 1 美元，斯蒂文的组合 A 变动 2 美元，雪莉的组合 B 变动 5 美元
  3. 当脸书变动 1 美元，斯蒂文的组合 A 变动 3 美元，雪莉的组合 B 变动 6 美元

我们假设组合和股票类型为

\[组合 = \begin{bmatrix} 组合a \\ 组合b \end{bmatrix}\]

\[股票 = \begin{bmatrix} 京东 & 百度 & 脸书 \end{bmatrix}\]

实际上就是先将 \(\frac{\mathbb{d} \space 组合}{\mathbb{d} \space 股票}\) 写成和“组合”一样大小的向量，再根据“股票”的大小，把组合向量里每个元素展开。

\[\frac{\mathbb{d} \space 组合}{\mathbb{d} \space 股票} = \begin{bmatrix} \begin{bmatrix} \frac{\mathbb{d} \space 组合a}{\mathbb{d} \space 京东} & \frac{\mathbb{d} \space 组合a}{\mathbb{d} \space 百度} & \frac{\mathbb{d} \space 组合a}{\mathbb{d} \space 脸书} \end{bmatrix} \\ \begin{bmatrix} \frac{\mathbb{d} \space 组合a}{\mathbb{d} \space 京东} & \frac{\mathbb{d} \space 组合a}{\mathbb{d} \space 百度} & \frac{\mathbb{d} \space 组合a}{\mathbb{d} \space 脸书} \end{bmatrix} \end{bmatrix} = \begin{bmatrix} 1 & 2 & 3 \\ 4 & 5 & 6 \end{bmatrix}\]

Chain Rule

现在有四家基金，分别在组合 A 和 B 上投资 20% 和 80%，50% 和 50%，70% 和 30%，90% 和 10%

\[\frac{\mathbb{d} \space 组合}{\mathbb{d} \space 股票} = \begin{bmatrix} 基金1 \\ 基金2 \\ 基金3 \\ 基金4 \end{bmatrix} = \begin{bmatrix} 0.2 & 0.8 \\ 0.5 & 0.5 \\ 0.7 & 0.3 \\ 0.9 & 0.1 \\ \end{bmatrix} \begin{bmatrix} 组合a & 组合b \end{bmatrix} = \begin{bmatrix} 0.2 & 0.8 \\ 0.5 & 0.5 \\ 0.7 & 0.3 \\ 0.9 & 0.1 \\ \end{bmatrix} \begin{bmatrix} 1 & 2 & 3 \\ 4 & 5 & 6 \end{bmatrix} \begin{bmatrix} 京东 \\ 百度 \\ 脸书 \end{bmatrix}\]

R 中 求导数，方程是什么。 矩阵求导 R，没找到

王圣元. 2019. “张量求导和计算图.” 王的机器. 2019. https://mp.weixin.qq.com/s/HQpaAg00j-teybSQJAb-ZQ.