Eufisky - The lost book

## 2018年考研试题

$\frac{1}{5}<\int_0^1\frac{xe^xdx}{\sqrt{x^2-x+25}}<\frac{2}{\sqrt{99}}.$

$x^2-x+25=\left(x-\frac{1}{2}\right)^2+\frac{99}{4}>\frac{99}{4}, a.e. x\in [0,1],$

$\int_0^1\frac{xe^xdx}{\sqrt{x^2-x+25}}<\frac{2}{\sqrt{99}}\int_0^1xe^xdx=\frac{2}{\sqrt{99}}.$

$\int_0^1\frac{xe^xdx}{\sqrt{x^2-x+25}}=\frac{(x-1)e^x}{\sqrt{x^2-x+25}}\Big|_0^1+\int_0^1\frac{(x-1)(x-\frac{1}{2})e^x}{\sqrt{(x^2-x+25)^3}}dx=\frac{1}{5}+\int_0^1\frac{(x-1)(x-\frac{1}{2})e^x}{\sqrt{(x^2-x+25)^3}}dx.$
$f(x)=\frac{x-\frac{1}{2}}{\sqrt{(x^2-x+25)^3}},g(x)=(x-1)e^x,$
$f'(x)=\frac{-2x^2+2x+\frac{97}{4}}{\sqrt{(x^2-x+25)^5}}>0,\forall x\in [0,1],\int_0^1 f(x)dx=0, g'(x)=xe^x,$

$\int_0^1\frac{(x-1)(x-\frac{1}{2})e^x}{\sqrt{(x^2-x+25)^3}}dx=\int_0^1f(x)g(x)dx>\int_0^1 f(x)dx\int_0^1g(x)dx=0.$
$\int_0^1\frac{xe^xdx}{\sqrt{x^2-x+25}}>\frac{1}{5}.$

$\frac{1}{5}<\int_0^1\frac{xe^xdx}{\sqrt{x^2-x+25}}<\frac{2}{\sqrt{99}}.$

2018年武汉大学653数学分析

2.计算极限$$\lim_{n\rightarrow\infty}\frac{\int_0^\mathrm\pi\sin^nx\cos^6x\operatorname dx}{\int_0^\mathrm\pi\sin^nx\operatorname dx}$$
3.已知$x_{n+1}=\ln\left(1+x_n\right)$,且$x_1>0$,计算$$\lim_{n\rightarrow\infty}nx_n$$

$$\oint\limits_S\frac{\partial^2 u}{\partial x_i\partial x_j}{\rm d}S，i，j=1,2,3$$,其中$S:x_1^2+x_2^2+x_3^2=R^2$

2.在适当的条件下，证明牛顿切线法收敛

1.存在阶梯函数$g_\varepsilon(x)$使得$$\int_a^b\left|f(x)-g_\varepsilon(x)\right|\operatorname dx<\frac\varepsilon2$$
2.计算$$\lim_{n\rightarrow\infty}\int_a^b\varphi(nx)\operatorname dx$$
3.证明$$\lim_{n\rightarrow\infty}\int_a^bf(x)\varphi(nx)\operatorname dx=\frac1T\int_0^T\varphi(x)\operatorname dx\int_a^bf(x)\operatorname dx$$
4.计算$$\lim_{n\rightarrow\infty}\frac1{\ln n}\int_0^T\frac{\varphi(nx)}xdx,其中函数\frac{\varphi(nx)}x收敛$$

$\int_0^1\frac{\sin x^n}{x^n}dx=\frac{1}{n}\int_0^1\frac{\sin y}{y^{2-\frac{1}{n}}}dy$
$\int_0^1 y^{\frac{1}{n}-2}\sum_{k=0}^{+\infty}\frac{(-1)^k}{(2k+1)!}y^{2k+1}dy=\int_0^1 y^{\frac{1}{n}-1}dy+\int_0^1\sum_{k=1}^{+\infty}\frac{(-1)^k}{(2k+1)!}y^{2k-1+\frac{1}{n}}dy$

$\int_0^1 y^{\frac{1}{n}-1}dy=n,\left|\frac{(-1)^k}{(2k+1)!}y^{2k-1+\frac{1}{n}}\right|\le \frac{1}{(2k+1)!}$

$=n+\sum_{k=1}^{+\infty}\frac{(-1)^k}{(2k+1)!}\int_0^1 y^{2k-1+\frac{1}{n}}dy=n+\sum_{k=1}^{+\infty}\frac{(-1)^k}{(2k+1)!}\frac{1}{2k+\frac{1}{n}}$

$\int_0^1\frac{\sin x^n}{x^n}dx=1+\frac{1}{n}\sum_{k=1}^{+\infty}\frac{(-1)^k}{(2k+1)!}\frac{1}{2k+\frac{1}{n}}$

$\lim_{n\to+\infty}n\ln \left(1+\frac{1}{n}\sum_{k=1}^{+\infty}\frac{(-1)^k}{(2k+1)!}\frac{1}{2k+\frac{1}{n}}\right)=\sum_{k=1}^{+\infty}\left(\frac{(-1)^k}{2k(2k+1)!}\right)$
$\left|\sum_{k=1}^{+\infty}\frac{(-1)^k}{(2k+1)!}\frac{1}{2k+\frac{1}{n}}\right|\le \sum_{k=1}^{+\infty}\frac{1}{(2k+1)!}<+\infty$
$\lim_{n\to+\infty}\frac{1}{n}\sum_{k=1}^{+\infty}\frac{(-1)^k}{(2k+1)!}\frac{1}{2k+\frac{1}{n}}=0$
$\lim_{n\to+\infty}n\ln \left(1+\frac{1}{n}\sum_{k=1}^{+\infty}\frac{(-1)^k}{(2k+1)!}\frac{1}{2k+\frac{1}{n}}\right)=\lim_{n\to+\infty}\sum_{k=1}^{+\infty}\frac{(-1)^k}{(2k+1)!}\frac{1}{2k+\frac{1}{n}}$

$f(x)=\sum_{k=1}^{+\infty}\frac{(-1)^k}{(2k+1)!}\frac{1}{2k+x}$

$=\lim_{n\to +\infty}f(\frac{1}{n})=f(0)=\sum_{k=1}^{+\infty}\frac{(-1)^k}{(2k+1)!}\frac{1}{2k}$

$\lim_{n\to +\infty}\frac{1}{n}\sum_{k=1}^n\ln(1+\frac{k^2-k}{n^2})=\ln 2-2+\frac{\pi}{2}$

$\lim_{n\to +\infty}\frac{1}{n}\sum_{k=1}^n\ln(1+\frac{k^2}{n^2})=\int_0^1\ln(1+x^2)dx=x\ln(1+x^2)\left|_0^1\right.-\int_0^1\frac{2x^2}{1+x^2}dx=\ln 2-2+\frac{\pi}{2}$

$\lim_{n\to +\infty}\frac{1}{n}\sum_{k=1}^n\ln(1+\frac{k^2-k}{n^2})=\lim_{n\to +\infty}\frac{1}{n}\sum_{k=1}^n\ln(1+\frac{k^2}{n^2})$

$x,y\ge 0,\left|\ln(1+x)-\ln(1+y)\right|=\left|\frac{x-y}{1+\xi}\right|\le|x-y|$
$\left|\frac{1}{n}\sum_{k=1}^n\ln(1+\frac{k^2-k}{n^2})-\frac{1}{n}\sum_{k=1}^n\ln(1+\frac{k^2}{n^2})\right|\le \frac{1}{n}\sum_{k=1}^n\left|\ln(1+\frac{k^2-k}{n^2})-\ln(1+\frac{k^2}{n^2})\right|$
$\le \frac{1}{n}\sum_{k=1}^n\frac{k}{n^2}=\frac{n+1}{2n^2}\to 0$

$f(x)$在$[1,+\infty)$上二次可导,$\forall x\in [1,+\infty),f(x)>0,f''(x)\le 0,f(+\infty)=+\infty$

$\lim_{s\to 0^+}\sum_{n=1}^{+\infty}\frac{(-1)^n}{f^s(n)}$

$\forall x\ge x_0,f'(x)\le f'(x_0)\le 0,f(x)\le f(x_0)$与$f(+\infty)=+\infty$矛盾.因此$f$在$[1,+\infty)$严增.

$S_{2n}(s)=\sum_{k=1}^n \left(\frac{1}{f^s(2k)}-\frac{1}{f^s(2k-1)}\right)$

$\lim_{n\to +\infty}S_{2n}(s)$存在且等于
$\sum_{n=1}^{+\infty}\frac{(-1)^n}{f^s(n)}$

$\frac{1}{f^s(2k)}-\frac{1}{f^s(2k-1)}=\frac{-sf'(\xi)}{f^{s+1}(\xi)},\xi\in (2k-1,2k)$

$\frac{-sf'(2k-1)}{f^{s+1}(2k-1)}\le\frac{1}{f^s(2k)}-\frac{1}{f^s(2k-1)}\le \frac{-sf'(2k)}{f^{s+1}(2k)}$
$\sum_{k=1}^n\frac{-sf'(2k-1)}{f^{s+1}(2k-1)}\le S_{2n}(s)\le \sum_{k=1}^n\frac{-sf'(2k)}{f^{s+1}(2k)}$

$\frac{f'(2k-1)}{f^{s+1}(2k-1)}\le \frac{1}{2}\int_{2k-3}^{2k-1} \frac{f'(t)}{f^{s+1}(t)}dt$
$\sum_{k=2}^{+\infty}\frac{f'(2k-1)}{f^{s+1}(2k-1)}\le\frac{1}{2}\int_{1}^{+\infty} \frac{f'(t)}{f^{s+1}(t)}dt=\frac{1}{2}\frac{-1}{sf^s(t)}\left|_{t=1}^{t=+\infty}\right.=\frac{1}{2sf^s(1)}$

$S_{2n}(s)$有下界故极限存在.再次利用面积原理
$k\ge 1$时
$\frac{f'(2k)}{f^{s+1}(2k)}\ge \frac{1}{2}\int_{2k}^{2k+2} \frac{f'(t)}{f^{s+1}(t)}dt$
$\sum_{k=1}^{+\infty}\frac{f'(2k)}{f^{s+1}(2k)}\ge\frac{1}{2}\int_{2}^{+\infty} \frac{f'(t)}{f^{s+1}(t)}dt=\frac{1}{2}\frac{-1}{sf^s(t)}\left|_{t=2}^{t=+\infty}\right.=\frac{1}{2sf^s(2)}$

$-s\left(\frac{f'(1)}{f^{s+1}(1)}+\frac{1}{2sf^s(1)}\right)\le \lim_{n\to +\infty}S_{2n}(s)\le -s\frac{1}{2sf^s(2)}$

$-s\left(\frac{f'(1)}{f^{s+1}(1)}+\frac{1}{2sf^s(1)}\right)\le \sum_{n=1}^{+\infty}\frac{(-1)^n}{f^s(n)}\le -s\frac{1}{2sf^s(2)}$

$\lim_{s\to 0^+}\sum_{n=1}^{+\infty}\frac{(-1)^n}{f^s(n)}=-\frac{1}{2}$

01. (15pt) 计算极限
$\lim_{x\to\infty}\left(\sin\frac1x+\cos\frac1x\right)^{x}\text{．}$
02. (15pt) 计算极限
$\lim_{x\to 0} \left(\frac{4+\mathrm{e}^{\frac1x}}{2+\mathrm{e}^{\frac4x}}+\frac{\sin x}{|x|} \right)\text{．}$
03. (15pt) 判断 (并证明) 函数 $f(x,y)=\sqrt{|{xy}|}$ 在点 $(0,0)$ 处的可微性．

04. (15pt) 求三个实常数 $a,b,c$，使得下式成立
$\lim_{x\to 0}\frac1{\tan x -ax}\int_b^x\frac{s^2}{\sqrt{1-s^2}}\,\mathrm{d}s =c\text{．}$
05. (15pt) 计算不定积分
$\int\frac{\mathrm{d}x}{\sin^6 x+\cos^6 x}\text{．}$
06. (15pt) 设函数 $f(x)$ 在 $[-1,1]$ 上二次连续可微，$f(0)=0$，证明：
$\left|\int_{-1}^1 f(x)\,\mathrm{d}x\right|\leq\frac{M}{3},\quad \text{其中 }M=\max_{x\in[-1,1]}\left|f''(x)\right|\text{．}$
07. (15pt) 求曲线 $y=\dfrac12x^2$ 上的点，使得曲线在该点处的法线被曲线所截得的线段长度最短．

08. (15pt) 设 $x>0$，证明
$\sqrt{x+1}-\sqrt{x}=\frac1{2\sqrt{x+\theta}}\text{，}$其中 $\theta=\theta(x)>0$，并且 $\lim\limits_{x\to 0}\theta(x)=\dfrac 14$．

09. (15pt) 设
$u_n(x)=\frac{(-1)^n}{(n^2-n+1)^x}\quad (n\geq 0)\text{，}$求函数 $f(x)=\sum\limits_{n=0}^{\infty}u_n(x)$ 的绝对收敛、条件收敛以及发散的区域．

10. (15pt) 证明
$\frac15<\int_0^1\frac{x\mathrm{e}^x}{\sqrt{x^2-x+25}}\,\mathrm{d}x<\frac{2\sqrt{11}}{33}\text{．}$

$\frac{r(x)}{p(x)q(x)}=\frac{u(x)}{p(x)}+\frac{v(x)}{q(x)}\text{．}$

(1) 计算 $D_4$；
(2) 证明 $D_n$ 满足递推关系式 $D_n=-4D_{n-1}-4D_{n-2}$；
(3) 求 $n$ 阶方阵 $A_n=\left(\left|\frac1i-\frac1j\right|^{\llap{\phantom{b}}}\right)_{1\leq i,j \leq n}$ 的行列式 $\mathrm{det}(A_n)$．

(1) $\mathrm{rank}(A)+\mathrm{rank}(B) \leq n$；
(2) 对于方阵 $A$ 和正整数 $k\,(\mathrm{rank}(A) \leq k \leq n)$，必存在方阵 $B$，使得
$\mathrm{rank}(A)+\mathrm{rank}(B)=k\text{．}$

$q(x_1,x_2,x_3)=5x_1^2+5x_2^2+5x_3^2-2x_1x_2-2x_2x_3-2x_1x_3\text{．}$

$V_1=\left\{\,x\in\mathbb{C}^n\,\middle|\,A_1 x=0\,\right\},\quad V_1=\left\{\,x\in\mathbb{C}^n\,\middle|\,A_2 x=0\,\right\}\text{，}$证明：矩阵 $A$ 可逆的充分必要条件是向量空间 $\mathbb{C}^n$ 能够表示成子空间 $V_1$ 与 $V_2$ 的直和：$\mathbb{C}^n=V_1 \oplus V_2$．

$f(A)=A+A'\quad \forall A\in V\text{，}$其中 $A'$ 为 $A$ 的转置．求 $f$ 的特征值、特征子空间、极小多项式．

9.  设 $B_R=\{(x,y): x^2+y^2< R^2\},u\in C^2( B_R)\cap C(\overline {B_R})$ .

1) 若$\Delta u\geqslant 0$, 证明
$\max_{(x,y)\in\overline {B_R}} u(x,y)= \max_{(x,y) \in \partial B_R} u(x,y).$

$\Delta v_\varepsilon (x,y)=\Delta u(x,y)+4\varepsilon\geqslant 4\varepsilon.$

$\max_{(x,y)\in\overline {B_R}} v_\varepsilon (x,y)= \max_{(x,y) \in \partial B_R} v_\varepsilon(x,y).$

$\max_{(x,y)\in\overline {B_R}} u(x,y)= \max_{(x,y) \in \partial B_R} u(x,y).$

2).  若$\Delta u(x,y)=0$, 则
$\frac{d}{dr}\left(\frac{1}{2\pi r}\int_{\partial B_r}u(x,y)ds\right)=0, 0\leqslant r\leqslant R.$

$\frac{1}{2\pi r}\int_{\partial B_r}u(x,y)ds=\frac{1}{2\pi}\int_0^{2\pi}u(r\cos\theta,r\sin\theta)d\theta= \int_{\partial B_1}u(rx,ry)ds.$从而根据Gauss公式, 得到

\begin{align*}\frac{d}{dr}\left(\frac{1}{2\pi r}\int_{\partial
B_r}u(x,y)ds\right)&=\frac{1}{2\pi}\int_{\partial B_1}(u_x(rx,ry)x+u_y(rx,ry)y)ds\\
&=\frac{1}{2\pi}\int_{\partial B_1} \frac{\partial
u(rx,ry)}{\partial
\nu}ds\\
&=\frac{1}{2\pi}\iint\limits_{\overline B_1}\Delta
u(rx,ry)dxdy\\
&=0.\end{align*}
3).  证明 若$\Delta u(x,y)=0$, 则
$u(0,0)=\frac{1}{2\pi r}\int_{\partial B_r}u(x,y)ds.$

$\frac{1}{2\pi r}\int_{\partial B_r}u(x,y)ds=\lim_{r\to 0^+}\frac{1}{2\pi r}\int_{\partial B_r}u(x,y)ds=u(0,0).$

2017-2018学年北京大学高等代数实验班期末试题2018.1.9
2018.1.9 上午8：30--10：30\\

$$T(f)(t)=f(-t), \ \ U(f)(t)=f(t+1)-f(t), \ \ \forall \ f\in V, t\in F_p.$$

$$T_W(\alpha)=T(\alpha), \alpha\in W,$$
$$T_{V/W}(\alpha+W)=T(\alpha)+W, \alpha\in V.$$

(a) 对任意的$a\in V-\{0\}$, 存在$\beta\in W$使得$\alpha A\beta^t\neq 0$.

(b) 对任意的$\gamma\in F^n$, 存在$\beta\in W$使得对任意的$\alpha\in V$有$\alpha V\beta^t=\alpha\gamma^t$.

$$V\cap M=\{0\}, \ \ \ V+M=F[x].$$

## 醉鬼能回家，但喝醉的鸟儿可能永远回不了家！

A drunk man will find his way home, but a drunk bird may get lost forever.  —— Kakutani

Z^d在这里表示由d 维欧氏空间中全体整点（即坐标全为整数的点）构成的集合。想象有一只青蛙以秒为时间单位在Z^d上做随机游走，那么它将按如下规则运动：在初始时刻（记为第0秒），青蛙位于原点；在每一秒钟，青蛙都会等概率地跳到某一个与它上一秒所在位置相邻的整点。由于Z^d上的每个整点都有2d个邻居，因此这个概率也就是1/(2d)（见下图)。

EN = E(a(1) + a(2) +…+ a(n) +…) = E a(1)  + E a(2) +...+E a(n) +...

## 拉格朗日乘数法

一个好的外科医生不应该总是在进行补救式的英雄行为，而是应该预测和预防这些不必要的行为。

「大哥治病，是在病情发作之前，那时候病人自己还不觉得有病，但大哥就下药铲除了病根，使他的医术难以被人认可，所以没有名气，只是在我们家中被推崇备至；

（相切的时候碰到最高的等高线）

## 倒向归纳法

a_2=\frac{1}{2}\cdot\frac{3}{4}+\frac{1}{2}\cdot\frac{1}{2}=\frac{5}{8}.

a_{i+1}=(1-a_i)(\frac{1+a_i}{2})+a_i\cdot a_i=\frac{1+a_i^2}{2}.

FBI Warning: 接下来的内容要用到概率论中鞅的知识，这通常属于数学专业研究生阶段的内容。

## 转换为鞅的语言

V= \sup_{\tau\in\mathcal{M}} \mathbb{E}X_\tau

S_n=\left\{\begin{array}{ll}X_N&n=N\\\max\{X_n,\mathbb{E}[S_{n+1}|\mathcal{F}_n]\}& n=N-1,\ldots,0.\end{array}\right.

S_n 的直观意义很好理解，就是在时刻 n 对最佳收益的估计：如果过程在当前时刻结束，那么收益就是 X_n；否则继续前进到下一个时刻 n+1，其期望收益是 \mathbb{E}[S_{n+1}|\mathcal{F}_n]（注意这里的条件期望不可少，一般来说 \{X_n\} 之间不是独立的，根据前 n 个时刻获得的信息不同，你在 n+1 时刻对最佳收益的估计也可能不同），二者取最大值即为 n 时刻对最佳收益的估计。

Y_{n-1}\geq \mathbb{E}[Y_n|\mathcal{F}_{n-1}] \geq \mathbb{E}[S_n|\mathcal{F}_{n-1}].

\mathbb{E}X_\tau = \mathbb{E}S_\tau \geq \mathbb{E}S_T\geq \mathbb{E}X_T.

S_{(n+1)\wedge\tau}-S_{n\wedge\tau}=1_{\{\tau>n\}}(S_{n+1}-S_n).

\mathbb{E}[1_{\{\tau>n\}}(S_{n+1}-S_n)|\mathcal{F}_n]=1_{\{\tau>n\}}\mathbb{E}[(S_{n+1}-S_n)|\mathcal{F}_n]=0.

\mathbb{E}S_0=\mathbb{E}X_\tau=\sup_{T\in\mathcal{M}}\mathbb{E}X_T.

\tau_\max = \begin{cases}N & A_N=0,\\ \inf\{n\ |\ A_{n+1}>0\} & A_N>0.\end{cases}

## 参考文献

Risk-Neutral Valuation: Pricing and Hedging of Financial Derivatives. By Nicholas H. Bingham, Rüdiger Kiesel.

## Hurwitz 平方和定理

Hurwitz 平方和定理是有限群表示论的一个精彩应用，本文是若干年前读书时的笔记。

Hurwitz 平方和定理

(x_1^2+y_1^2)(x_2^2+y_2^2)=(x_1x_2-y_1y_2)^2+(x_1y_2+x_2y_1)^2.
1748 年 Euler 发现了如下的 4 平方和等式：
(x_1^2+x_2^2+x_3^2+x_4^2)(y_1^2+y_2^2+y_3^2+y_4^2)=z_1^2+z_2^2+z_3^2+z_4^2.

\begin{align*}&z_1=x_1y_1-x_2y_2-x_3y_3-x_4y_4,\\&z_2=x_1y_2+x_2y_1+x_3y_4-x_4y_3,\\&z_3=x_1y_3+x_3y_1-x_2y_4+x_4y_2,\\&z_4=x_1y_4+x_4y_1+x_2y_3-x_3y_2.\end{align*}
4 平方和等式说的是在 Hamilton 四元数体中范数仍然是乘性的。1848 年 Caley 发现了八元数，从而导出了类似的 8 平方和等式，当然具体写出来会很复杂，这里就按下不表了。

\mathbb{R^n}\times\mathbb{R^n}\rightarrow\mathbb{R^n}:(v,w)\rightarrow v\times w

Hurwitz 平方和定理：设 x=(x_1,\ldots,x_n), y=(y_1,\dots,y_n) 为 \mathbb{R}^n 中的向量。如果存在关于 x,y 的双线性函数 z_1(x,y),\ldots,z_n(x,y) 使得等式
(x_1^2+\cdots+x_n^2)(y_1^2+\cdots+y_n^2)=z_1^2+\cdots+z_n^2

Hurwitz 本人的证明是纯线性代数的，线性代数的证明较为初等，不过步骤略长。1943 年 Eckmann 用有限群表示论的方法给了一个漂亮的证明，本文就来介绍这个证明。

(x_1^2+x_2^2+\cdots+x_n^2)yy'=yAA'y'.

AA'=(x_1^2+\cdots+x_n^2)I_n.

AA'=\sum_{i=1}^nA_iA_i'x_i^2+\sum_{1\leq i<j\leq n}(A_iA_j'+A_jA_i')x_ix_j.

|G|=2^n，每个元素形如 a^{e_0}g_1^{e_1}\cdots g_{n-1}^{e_{n-1}}，其中 e_i\in\{0,1\}。
G 的中心 Z(G)=\{1,a,g_1g_2\cdots g_{n-1},ag_1g_2\cdots g_{n-1}\}。
G 的换位子群 [G,G]=\{1,a\}，从而 G 有 2^{n-1} 个线性表示。
G 的任何非平凡共轭类都只有两个元素 \{g,ag\}，从而 G 有 2^{n-1}+2 个共轭类，其不可约复表示的个数也是 2^{n-1}+2。

f_1^2+f_2^2 =2^{n-1}.

f_1=f_2=2^{\frac{n}{2}-1}.

2^r\leq n\leq 2r+2.

1.

## 向老师的题目

$\int_0^1{\frac{1}{1+a^2x^2}\left[\left(1-\frac{x}{2}\right)\ln\frac{1+x}{1-x}+\frac{\pi^2x^2}{4}\right]^{-1}\textrm{d}x}.$

\begin{align*}&\hspace{0.5cm}\int_0^1{\frac{1}{1+a^2x^2}\left[\left(1-\frac{x}{2}\right)\ln\frac{1+x}{1-x}+\frac{\pi^2x^2}{4}\right]^{-1}\textrm{d}x}\\&=\int_0^{\infty}{\frac{1}{1+a^2\tanh  ^2x}\left(\frac{\coth ^2x-1}{\left(\coth x-x\right)^2+\frac{\pi^2x^2}{4}}\right)\textrm{d}x}\\&=\frac{1}{2}\int_{-\infty}^{\infty}{\frac{1}{1+a^2\tanh  ^2x}\left(\frac{\coth ^2x-1}{\left(\coth x-x\right)^2+\frac{\pi^2x^2}{4}}\right)\textrm{d}x}\end{align*}

\begin{align*}&\int_{ - \infty  - \frac{\pi }{2}{\rm{i}}}^{\infty  - \frac{\pi }{2}{\rm{i}}} {f\left( z \right){\rm{d}}z}  - \int_{ - \infty  + \frac{\pi }{2}{\rm{i}}}^{\infty  + \frac{\pi }{2}{\rm{i}}} {f\left( z \right){\rm{d}}z} \\&= 2\pi {\rm{i}}\left( {{\rm{Res}}\left[ {f\left( z \right),z = 0} \right] + \left( {{\rm{Res}}\left[ {f\left( z \right),{\rm{i}} \cdot \arctan \left( a \right)} \right] + {\rm{Res}}\left[ {f\left( z \right),z =  - {\rm{i}} \cdot \arctan \left( a \right)} \right]} \right)} \right)\\&+ \pi {\rm{i}}\left( {{\rm{Res}}\left[ {f\left( z \right),z = \frac{\pi }{2}{\rm{i}}} \right] + {\rm{Res}}\left[ {f\left( z \right),z =  - \frac{\pi }{2}{\rm{i}}} \right]} \right)\\&= 2\pi {\rm{i}}\left( {\frac{3}{{{a^2}}} - \frac{a}{{2\left( {a - \arctan \left( a \right)} \right)}} - \frac{a}{{2\left( {a - \arctan \left( a \right)} \right)}}} \right) + \pi {\rm{i}}\left( {1 + 1} \right)\\&= 2\pi {\rm{i}}\left( {\frac{3}{{{a^2}}} - \frac{{\arctan \left( a \right)}}{{a - \arctan \left( a \right)}}} \right).\end{align*}

\begin{align*}&\int_{-\infty -\frac{\pi}{2}\textrm{i}}^{\infty -\frac{\pi}{2}\textrm{i}}{f\left(z\right)\textrm{d}z}-\int_{-\infty +\frac{\pi}{2}\textrm{i}}^{\infty +\frac{\pi}{2}\textrm{i}}{f\left(z\right)\textrm{d}z}=\int_{-\infty}^{\infty}{f\left(x-\frac{\pi}{2}\textrm{i}\right)\textrm{d}x}-\int_{-\infty}^{\infty}{f\left(x+\frac{\pi}{2}\textrm{i}\right)\textrm{d}x}\\&=\int_{-\infty}^{\infty}{\frac{1}{1+a^2\tanh  ^2x}\cdot\frac{\coth ^2x-1}{\coth x-\left(x-\frac{\pi}{2}\textrm{i}\right)^2}\textrm{d}x}-\int_{-\infty}^{\infty}{\frac{1}{1+a^2\tanh  ^2x}\cdot\frac{\coth ^2x-1}{\coth x-\left(x+\frac{\pi}{2}\textrm{i}\right)^2}\textrm{d}x}\\&=-\pi\textrm{i}\int_{-\infty}^{\infty}{\frac{1}{1+a^2\tanh  ^2x}\cdot\frac{\coth ^2x-1}{\left(\coth x-x\right)^2+\frac{\pi^2}{4}}\textrm{d}x}=2\pi\textrm{i}\left(\frac{3}{a^2}-\frac{\arctan\left(a\right)}{a-\arctan\left(a\right)}\right).\end{align*}

\begin{align*}\int_0^{\infty}{\frac{1}{1+a^2\tanh  ^2x}\cdot\frac{\coth ^2x-1}{\left(\coth x-x\right)^2+\frac{\pi^2}{4}}\textrm{d}x}&=\frac{1}{2}\int_{-\infty}^{\infty}{\frac{1}{1+a^2\tanh  ^2x}\cdot\frac{\coth ^2x-1}{\left(\coth x-x\right)^2+\frac{\pi^2}{4}}\textrm{d}x}\\&=\frac{\arctan\left(a\right)}{a-\arctan\left(a\right)}-\frac{3}{a^2}\end{align*}

$\int_0^1{x^{20}\left[ \left( 1-\frac{x}{2}\ln \frac{1+x}{1-x} \right) ^2+\frac{\pi ^2x^2}{4} \right] ^{-1}\text{d}x}=\frac{5588512716806912356}{374010621408251953125}$

$\sum_{n=1}^\infty\frac{\mathrm{Si}(n\pi)}{n^3}$

\begin{align*}\text{Si}\left( n\pi \right) &=\int_0^{n\pi}{\frac{\sin t}{t}\text{d}t}=\int_0^{\pi}{\frac{\sin nx}{x}\text{d}x}=\int_0^{\pi}{\sin nx\text{d}\left( \ln x \right)}=-n\int_0^{\pi}{\cos nx\ln x\text{d}x}\\&=-n\int_0^{\pi}{\cos nx\text{d}\left( x\ln x-x \right)}=n\left[ \left( -1 \right) ^{n-1}\left( \pi \ln \pi -\pi \right) -n\int_0^{\pi}{\sin nx\left( x\ln x-x \right) \text{d}x} \right]\end{align*}

$\sum_{n=1}^{\infty}{\frac{\text{Si}(n\pi)}{n^3}}=\sum_{n=1}^{\infty}{\frac{\left( -1 \right) ^{n-1}}{n^2}\left( \pi \ln \pi -\pi \right)}-\sum_{n=1}^{\infty}{\frac{1}{n}\int_0^{\pi}{\sin nx\left( x\ln x-x \right) \text{d}x}}$

\begin{align*}\sum_{n=1}^{\infty}{\frac{1}{n}\int_0^{\pi}{\sin nx\left( x\ln x-x \right) \text{d}x}}&=\sum_{n=1}^{\infty}{\frac{1}{n}\int_0^{\pi}{\sin nx\text{d}\left( \frac{1}{2}x^2\ln x-\frac{3}{4}x^2 \right)}}\\&=\sum_{n=1}^{\infty}{\int_0^{\pi}{\left( \frac{3}{4}x^2-\frac{1}{2}x^2\ln x \right) \cos nx\text{d}x}}.\end{align*}

$\widetilde{f}\left( x \right) =\frac{a_0}{2}+\sum_{n=1}^{\infty}{a_n\cos nx}$

$\frac{a_0}{2}+\sum_{n=1}^{\infty}{a_n}=f(0)=0$

$\sum_{n=1}^{\infty}{\int_0^{\pi}{\left( \frac{3}{4}x^2-\frac{1}{2}x^2\ln x \right) \text{d}x}}=\frac{\pi}{2}\sum_{n=1}^{\infty}{a_n}=-\frac{\pi}{4}a_0=\frac{\pi ^3}{12}\ln \pi -\frac{11}{72}\pi ^3$

$\sum_{n=1}^{\infty}{\frac{\text{Si}\left( n\pi \right)}{n^3}}=\frac{\pi ^2}{12}\left( \pi \ln \pi -\pi \right) -\left( \frac{\pi ^3}{12}\ln \pi -\frac{11}{72}\pi ^3 \right) =\frac{5\pi ^3}{72}$

$\sum_{n=1}^{\infty}{\left( -1 \right) ^n\frac{\text{Si}\left( n\pi \right)}{n^3}}=-\frac{\pi ^2}{6}\left( \pi \ln \pi -\pi \right) -\left( \frac{2\pi ^3}{9}-\frac{\pi ^3}{6}\ln \pi \right) =-\frac{\pi ^3}{18}$

$\sum_{n=1}^{\infty}{\left( \frac{\text{Si}\left( n\pi \right)}{n} \right) ^2}$

$\text{Si}\left( n\pi \right) =-n\int_0^{\pi}{\cos nx\ln x\text{d}x}$

$\sum_{n=1}^{\infty}{\left( \frac{\text{Si}\left( n\pi \right)}{n} \right) ^2}=\sum_{n=1}^{\infty}{\left( \int_0^{\pi}{\cos nx\ln x\text{d}x} \right) ^2}$

$\widetilde{f}\left( x \right) =\frac{a_0}{2}+\sum_{n=1}^{\infty}{a_n\cos nx}$

$\frac{a_{0}^{2}}{2}+\sum_{n=1}^{\infty}{a_{n}^{2}}=\frac{2}{\pi}\int_0^{\pi}{f^2\left( x \right) \text{d}x}=\frac{2}{\pi}\int_0^{\pi}{\ln ^2x\text{d}x}=4-4\ln \pi +2\ln ^2\pi$

$\sum_{n=1}^{\infty}{\left( \frac{\text{Si}\left( n\pi \right)}{n} \right) ^2}=\sum_{n=1}^{\infty}{\left( \int_0^{\pi}{\cos nx\ln x\text{d}x} \right) ^2}=\frac{\pi^2}2$

$\sum_{n=1}^{\infty}{\frac{\text{Si}\left( n\pi \right)}{n^5}}=\frac{269}{43200}\pi ^5,\sum_{n=1}^{\infty}{\frac{\left( -1 \right) ^{n-1}\text{Si}\left( n\pi \right)}{n^5}}=\frac{4}{675}\pi ^5$

$\sum_{n=1}^{\infty}{\frac{\text{Si}(n\pi)}{n^5}}=\sum_{n=1}^{\infty}{\frac{\left( -1 \right) ^{n-1}}{n^4}\left( \pi \ln \pi -\pi \right)}-\sum_{n=1}^{\infty}{\frac{1}{n^3}\int_0^{\pi}{\sin nx\left( x\ln x-x \right) \text{d}x}}$

\begin{align*}\sum_{n=1}^{\infty}{\frac{1}{n^3}\int_0^{\pi}{\sin nx\left( x\ln x-x \right) \text{d}x}}&=\sum_{n=1}^{\infty}{\frac{1}{n^3}\int_0^{\pi}{\sin nx\text{d}\left( \frac{1}{2}x^2\ln x-\frac{3}{4}x^2 \right)}}\\&=\sum_{n=1}^{\infty}\frac1{n^2}{\int_0^{\pi}{\left( \frac{3}{4}x^2-\frac{1}{2}x^2\ln x \right) \cos nx\text{d}x}}\\&=\sum_{n=1}^{\infty}{\frac{1}{n^2}\int_0^{\pi}{\cos nx\text{d}\left( \frac{11}{36}x^3-\frac{1}{6}x^3\ln x \right)}}\\&=\left( \frac{11}{36}\pi ^3-\frac{\pi ^3}{6}\ln \pi \right) \sum_{n=1}^{\infty}{\frac{\left( -1 \right) ^n}{n^2}}+\sum_{n=1}^{\infty}{\frac{1}{n}\int_0^{\pi}{\left( \frac{11}{36}x^3-\frac{x^3}{6}\ln x \right) \sin nx\text{d}x}}\\&=-\left( \frac{11}{36}\pi ^3-\frac{\pi ^3}{6}\ln \pi \right) \frac{\pi ^2}{12}+\sum_{n=1}^{\infty}{\frac{1}{n}\int_0^{\pi}{\left( \frac{11}{36}x^3-\frac{x^3}{6}\ln x \right) \sin nx\text{d}x}}.\end{align*}
\begin{align*}\sum_{n=1}^{\infty}{\frac{1}{n}\int_0^{\pi}{\left( \frac{11}{36}x^3-\frac{x^3}{6}\ln x \right) \sin nx\text{d}x}}&=\sum_{n=1}^{\infty}{\frac{1}{n}\int_0^{\pi}{\sin nx\text{d}\left( \frac{25}{288}x^4-\frac{1}{24}x^4\ln x \right)}}\\&=\sum_{n=1}^{\infty}{\int_0^{\pi}{\left( \frac{25}{288}x^4-\frac{1}{24}x^4\ln x \right) \cos nx\text{d}x}}.\end{align*}

$\sum_{n=1}^{\infty}{\frac{\text{Si}\left( n\pi \right)}{n^5}}=\frac{7\pi ^4}{720}\left( \pi \ln \pi -\pi \right) +\frac{\pi ^2}{12}\left( \frac{11\pi ^3}{36}-\frac{\pi ^3}{6}\ln \pi \right) -\frac{\pi}{2}\cdot \frac{\pi ^4\left( 137-60\ln \pi \right)}{7200}=\frac{269}{43200}\pi ^5$

$\sum_{n=1}^{\infty}{\frac{\text{Si}^2\left( n\pi \right)}{n^4}}=\frac{\pi ^4}{27}$

$\frac{\text{Si}\left( n\pi \right)}{n^2}=\frac{\left( -1 \right) ^{n-1}}{n}\left( \pi \ln \pi -\pi \right) -\int_0^{\pi}{\sin nx\left( x\ln x-x \right) \text{d}x}$

\begin{align*}\sum_{n=1}^{\infty}{\frac{\text{Si}\left( n\pi \right)}{n^2}\sin nx}&=\left( \pi \ln \pi -\pi \right) \sum_{n=1}^{\infty}{\frac{\left( -1 \right) ^{n-1}}{n}\sin nx}-\sum_{n=1}^{\infty}{\sin nx\int_0^{\pi}{\sin nx\left( x\ln x-x \right) \text{d}x}}\\&=\frac{\left( \pi \ln \pi -\pi \right) x}{2}-\frac{\pi \left( x\ln x-x \right)}{2}.\end{align*}

$\sum_{n=1}^{\infty}{\frac{\text{Si}^2\left( n\pi \right)}{n^4}}=\frac{2}{\pi}\int_0^{\pi}{\left( \frac{\left( \pi \ln \pi -\pi \right) x}{2}-\frac{\pi \left( x\ln x-x \right)}{2} \right) ^2\text{d}x}=\frac{\pi ^4}{27}$

\begin{align*}\sum_{n=1}^{\infty}{\frac{\text{Si}\left( n\pi \right)}{n^3}}&=\sum_{n=1}^{\infty}{\frac{1}{n^3}\int_0^{\pi}{\frac{\sin nx}{x}\text{d}x}}=\sum_{n=1}^{\infty}{\frac{1}{n^3}\int_0^{\pi}{\sin nx\text{d}x}\int_0^{+\infty}{\text{e}^{-xy}\text{d}y}}\\&=\int_0^{+\infty}{\text{d}y}\int_0^{\pi}{\text{e}^{-xy}}\frac{x^3-3\pi x^2+2\pi ^2x}{12}\text{d}y=\frac{5}{72}\pi ^3.\end{align*}

## 如何开启深度学习之旅？这三大类125篇论文为你导航（附资源下载）

·         从整体轮廓到细节

·         从过去到当代

·         从一般到具体领域

·         聚焦当下最先进技术

1、深度学习的历史与基础知识

1.0 书籍

[0] Bengio, Yoshua, Ian J. Goodfellow, and Aaron Courville. 深度学习（Deep learning）, An MIT Press book. (2015). （这是深度学习领域的圣经，你可以在读此书的同时阅读下面的论文）。

1.1 调查类：

[1] LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. 深度学习 (Deep learning), Nature 521.7553 (2015): 436-444. (深度学习三位大牛对各种学习模型的评价)

1.2 深度信念网络（DBN）（深度学习前夜的里程碑）

[2] Hinton, Geoffrey E., Simon Osindero, and Yee-Whye Teh. 一个关于深度信念网络的快速学习算法（A fast learning algorithm for deep belief nets）, (深度学习的前夜)

[3] Hinton, Geoffrey E., and Ruslan R. Salakhutdinov. 使用神经网络降低数据的维度（Reducing the dimensionality of data with neural networks）, (里程碑式的论文，展示了深度学习的可靠性)

1.3 ImageNet 的演化（深度学习从这里开始）

[4] Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. 使用深度卷积神经网络进行 ImageNet 分类任务（Imagenet classification with deep convolutional neural networks）(AlexNet, 深度学习的突破)

[5] Simonyan, Karen, and Andrew Zisserman. 针对大尺度图像识别工作的的超深卷积网络（Very deep convolutional networks for large-scale image recognition） (VGGNet, 神经网络开始变得非常深！)

[6] Szegedy, Christian, et al. 更深的卷积（Going deeper with convolutions）(GoogLeNet)

[7] He, Kaiming, et al. 图像识别的深度残差学习（Deep residual learning for image recognition）(ResNet，超级超级深的深度网络！CVPR--IEEE 国际计算机视觉与模式识别会议-- 最佳论文)

1.4 语音识别的演化

[8] Hinton, Geoffrey, et al. 语音识别中深度神经网络的声学建模（Deep neural networks for acoustic modeling in speech recognition: The shared views of four research groups）（语音识别中的突破)

[9] Graves, Alex, Abdel-rahman Mohamed, and Geoffrey Hinton. 用深度循环神经网络进行语音识别（Speech recognition with deep recurrent neural networks）(RNN)

[10] Graves, Alex, and Navdeep Jaitly. 面向端到端语音识别的循环神经网络（Towards End-To-End Speech Recognition with Recurrent Neural Networks）

[11] Sak, Haşim, et al. 语音识别中快且精准的循环神经网络声学模型（Fast and accurate recurrent neural network acoustic models for speech recognition）(谷歌语音识别系统)

[12] Amodei, Dario, et al. Deep speech 2:英语和汉语的端到端语音识别（Deep speech 2: End-to-end speech recognition in english and mandarin）(百度语音识别系统)

[13] W. Xiong, J. Droppo, X. Huang, F. Seide, M. Seltzer, A. Stolcke, D. Yu, G. Zweig，在对话语音识别中实现人类平等（Achieving Human Parity in Conversational Speech Recognition） (最先进的语音识别技术，微软)

2 深度学习方法

2.1 模型

[14] Hinton, Geoffrey E., et al. 通过避免特征检测器的共适应来改善神经网络（Improving neural networks by preventing co-adaptation of feature detectors）(Dropout)

[15] Srivastava, Nitish, et al. Dropout：一种避免神经网络过度拟合的简单方法（Dropout: a simple way to prevent neural networks from overfitting）

[16] Ioffe, Sergey, and Christian Szegedy. Batch normalization:通过减少内部协变量加速深度网络训练（Batch normalization: Accelerating deep network training by reducing internal covariate shift）(2015 年一篇杰出论文)

[17] Ba, Jimmy Lei, Jamie Ryan Kiros, and Geoffrey E. Hinton.层归一化（Layer normalization）(批归一化的升级版)

[18] Courbariaux, Matthieu, et al. 二值神经网络：训练神经网络的权重和激活约束到正 1 或者负 1（Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to+ 1 or−1）(新模型，快)

[20] Chen, Tianqi, Ian Goodfellow, and Jonathon Shlens. Net2net：通过知识迁移加速学习（Net2net: Accelerating learning via knowledge transfer） (修改之前的训练网络以减少训练)

[21] Wei, Tao, et al. 网络形态（Network Morphism）(修改之前的训练网络以减少训练 epoch)

2.2 优化

[22] Sutskever, Ilya, et al. 有关深度学习中初始化与动量因子的研究（On the importance of initialization and momentum in deep learning） (动量因子优化器)

[23] Kingma, Diederik, and Jimmy Ba. Adam：随机优化的一种方法（Adam: A method for stochastic optimization）(可能是现在用的最多的一种方法)

[24] Andrychowicz, Marcin, et al. 通过梯度下降学习梯度下降（Learning to learn by gradient descent by gradient descent） (神经优化器，令人称奇的工作)

[25] Han, Song, Huizi Mao, and William J. Dally. 深度压缩：通过剪枝、量子化训练和霍夫曼代码压缩深度神经网络（Deep compression: Compressing deep neural network with pruning, trained quantization and huffman coding） (ICLR 最佳论文，来自 DeePhi 科技初创公司，加速 NN 运行的新方向)

[26] Iandola, Forrest N., et al. SqueezeNet：带有 50x 更少参数和小于 1MB 模型大小的 AlexNet-层级精确度（SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 1MB model size.） (优化 NN 的另一个新方向，来自 DeePhi 科技初创公司)

2.3 无监督学习／深度生成模型

[27] Le, Quoc V. 通过大规模无监督学习构建高级特征（Building high-level features using large scale unsupervised learning.） (里程碑，吴恩达，谷歌大脑，猫)

[28] Kingma, Diederik P., and Max Welling. 自动编码变异贝叶斯（Auto-encoding variational bayes.） (VAE)

[29] Goodfellow, Ian, et al. 生成对抗网络（Generative adversarial nets.）(GAN, 超酷的想法)

[30] Radford, Alec, Luke Metz, and Soumith Chintala. 带有深度卷曲生成对抗网络的无监督特征学习（Unsupervised representation learning with deep convolutional generative adversarial networks.）(DCGAN)

[31] Gregor, Karol, et al. DRAW：一个用于图像生成的循环神经网络（DRAW: A recurrent neural network for image generation.） (值得注意的 VAE，杰出的工作)

[32] Oord, Aaron van den, Nal Kalchbrenner, and Koray Kavukcuoglu. 像素循环神经网络（Pixel recurrent neural networks.）(像素 RNN)

[33] Oord, Aaron van den, et al. 使用像素 CNN 解码器有条件地生成图像（Conditional image generation with PixelCNN decoders.） (像素 CNN)

2.4 RNN／序列到序列模型

[34] Graves, Alex. 带有循环神经网络的生成序列（Generating sequences with recurrent neural networks.）(LSTM, 非常好的生成结果，展示了 RNN 的力量)

[35] Cho, Kyunghyun, et al. 使用 RNN 编码器-解码器学习词组表征用于统计机器翻译（Learning phrase representations using RNN encoder-decoder for statistical machine translation.） (第一个序列到序列论文)

[36] Sutskever, Ilya, Oriol Vinyals, and Quoc V. Le. 运用神经网路的序列到序列学习（Sequence to sequence learning with neural networks.」）(杰出的工作)

[37] Bahdanau, Dzmitry, KyungHyun Cho, and Yoshua Bengio. 通过共同学习来匹配和翻译神经机器翻译（Neural Machine Translation by Jointly Learning to Align and Translate.）

[38] Vinyals, Oriol, and Quoc Le. 一个神经对话模型（A neural conversational model.）(聊天机器人上的序列到序列)

2.5 神经图灵机

[39] Graves, Alex, Greg Wayne, and Ivo Danihelka. 神经图灵机器（Neural turing machines.）arXiv preprint arXiv:1410.5401 (2014). (未来计算机的基本原型）

[40] Zaremba, Wojciech, and Ilya Sutskever. 强化学习神经图灵机（Reinforcement learning neural Turing machines.）

[41] Weston, Jason, Sumit Chopra, and Antoine Bordes. 记忆网络（Memory networks.）

[42] Sukhbaatar, Sainbayar, Jason Weston, and Rob Fergus. 端到端记忆网络（End-to-end memory networks.）

[43] Vinyals, Oriol, Meire Fortunato, and Navdeep Jaitly. 指示器网络（Pointer networks.）

[44] Graves, Alex, et al. 使用带有动力外部内存的神经网络的混合计算（Hybrid computing using a neural network with dynamic external memory.）(里程碑，结合上述论文的思想)

2.6 深度强化学习

[45] Mnih, Volodymyr, et al. 使用深度强化学习玩 atari 游戏（Playing atari with deep reinforcement learning.） (第一篇以深度强化学习命名的论文)

[46] Mnih, Volodymyr, et al. 通过深度强化学习达到人类水准的控制（Human-level control through deep reinforcement learning.） (里程碑)

[47] Wang, Ziyu, Nando de Freitas, and Marc Lanctot. 用于深度强化学习的决斗网络架构（Dueling network architectures for deep reinforcement learning.） (ICLR 最佳论文，伟大的想法 )

[48] Mnih, Volodymyr, et al. 用于深度强化学习的异步方法（Asynchronous methods for deep reinforcement learning.） (当前最先进的方法)

[49] Lillicrap, Timothy P., et al. 运用深度强化学习进行持续控制（Continuous control with deep reinforcement learning.） (DDPG)

[50] Gu, Shixiang, et al. 带有模型加速的持续深层 Q-学习（Continuous Deep Q-Learning with Model-based Acceleration.）

[51] Schulman, John, et al. 信赖域策略优化（Trust region policy optimization.） (TRPO)

[52] Silver, David, et al. 使用深度神经网络和树搜索掌握围棋游戏（Mastering the game of Go with deep neural networks and tree search.） (阿尔法狗)

2.7 深度迁移学习／终身学习／尤其对于 RL

[53] Bengio, Yoshua. 表征无监督和迁移学习的深度学习（Deep Learning of Representations for Unsupervised and Transfer Learning.） (一个教程)

[54] Silver, Daniel L., Qiang Yang, and Lianghao Li. 终身机器学习系统：超越学习算法（Lifelong Machine Learning Systems: Beyond Learning Algorithms.） (一个关于终生学习的简要讨论)

[55] Hinton, Geoffrey, Oriol Vinyals, and Jeff Dean. 提取神经网络中的知识（Distilling the knowledge in a neural network.） (教父的工作)

[56] Rusu, Andrei A., et al. 策略提取（Policy distillation.） (RL 领域)

[57] Parisotto, Emilio, Jimmy Lei Ba, and Ruslan Salakhutdinov. 演员模仿：深度多任务和迁移强化学习（Actor-mimic: Deep multitask and transfer reinforcement learning.） (RL 领域)

[58] Rusu, Andrei A., et al. 渐进神经网络（Progressive neural networks.）(杰出的工作，一项全新的工作)

2.8 一次性深度学习

[59] Lake, Brenden M., Ruslan Salakhutdinov, and Joshua B. Tenenbaum. 通过概率程序归纳达到人类水准的概念学习（Human-level concept learning through probabilistic program induction.）(不是深度学习，但是值得阅读)

[60] Koch, Gregory, Richard Zemel, and Ruslan Salakhutdinov. 用于一次图像识别的孪生神经网络（Siamese Neural Networks for One-shot Image Recognition.）

[61] Santoro, Adam, et al. 用记忆增强神经网络进行一次性学习（One-shot Learning with Memory-Augmented Neural Networks ） (一个一次性学习的基本步骤)

[62] Vinyals, Oriol, et al. 用于一次性学习的匹配网络（Matching Networks for One Shot Learning.）

[63] Hariharan, Bharath, and Ross Girshick. 少量视觉物体识别（Low-shot visual object recognition.）(走向大数据的一步)

3 应用

3.1 NLP（自然语言处理）

[1] Antoine Bordes, et al. 开放文本语义分析的词和意义表征的联合学习（Joint Learning of Words and Meaning Representations for Open-Text Semantic Parsing.）

[2] Mikolov, et al. 词和短语及其组合性的分布式表征（Distributed representations of words and phrases and their compositionality.） (word2vec)

[3] Sutskever, et al. 运用神经网络的序列到序列学习（Sequence to sequence learning with neural networks.）

[4] Ankit Kumar, et al. 问我一切：动态记忆网络用于自然语言处理（Ask Me Anything: Dynamic Memory Networks for Natural Language Processing.）

[5] Yoon Kim, et al. 角色意识的神经语言模型（Character-Aware Neural Language Models.）

[6] Jason Weston, et al. 走向人工智能-完成问题回答：一组前提玩具任务（Towards AI-Complete Question Answering: A Set of Prerequisite Toy Tasks.） (bAbI 任务)

[7] Karl Moritz Hermann, et al. 教机器阅读和理解（Teaching Machines to Read and Comprehend.）(CNN/每日邮件完形风格问题)

[8] Alexis Conneau, et al. 非常深度卷曲网络用于自然语言处理（Very Deep Convolutional Networks for Natural Language Processing.） (在文本分类中当前最好的)

[9] Armand Joulin, et al. 诡计包用于有效文本分类（Bag of Tricks for Efficient Text Classification.）(比最好的差一点，但快很多)

3.2 目标检测

[1] Szegedy, Christian, Alexander Toshev, and Dumitru Erhan. 深度神经网路用于目标检测（Deep neural networks for object detection.）

[2] Girshick, Ross, et al. 富特征层级用于精确目标检测和语义分割（Rich feature hierarchies for accurate object detection and semantic segmentation.）(RCNN)

[3] He, Kaiming, et al. 深度卷曲网络的空间金字塔池用于视觉识别（Spatial pyramid pooling in deep convolutional networks for visual recognition.） (SPPNet)

[4] Girshick, Ross. 快速的循环卷曲神经网络（Fast r-cnn.）

[5] Ren, Shaoqing, et al. 更快的循环卷曲神经网络：通过区域建议网络趋向实时目标检测（Faster R-CNN: Towards real-time object detection with region proposal networks.）

[6] Redmon, Joseph, et al. 你只看到一次：统一实时的目标检测（You only look once: Unified, real-time object detection.） (YOLO, 杰出的工作，真的很实用)

[7] Liu, Wei, et al. SSD：一次性多盒探测器（SSD: Single Shot MultiBox Detector.）

3.3 视觉跟踪

[1] Wang, Naiyan, and Dit-Yan Yeung. 学习视觉跟踪用的一种深度压缩图象表示（Learning a deep compact image representation for visual tracking.） (第一篇使用深度学习进行视觉跟踪的论文，DLT 跟踪器)

[2] Wang, Naiyan, et al. 为稳定的视觉跟踪传输丰富特征层次（Transferring rich feature hierarchies for robust visual tracking.）(SO-DLT)

[3] Wang, Lijun, et al. 用全卷积网络进行视觉跟踪（Visual tracking with fully convolutional networks.） (FCNT)

[4] Held, David, Sebastian Thrun, and Silvio Savarese. 用深度回归网络以 100FPS 速度跟踪（Learning to Track at 100 FPS with Deep Regression Networks.） (GOTURN, 作为一个深度神经网络，其速度非常快，但是相较于非深度学习方法还是慢了很多)

[5] Bertinetto, Luca, et al. 对象跟踪的全卷积 Siamese 网络（Fully-Convolutional Siamese Networks for Object Tracking.） (SiameseFC, 实时对象追踪的最先进技术)

[6] Martin Danelljan, Andreas Robinson, Fahad Khan, Michael Felsberg. 超越相关滤波器：学习连续卷积算子的视觉追踪（Beyond Correlation Filters: Learning Continuous Convolution Operators for Visual Tracking.）(C-COT)

[7] Nam, Hyeonseob, Mooyeol Baek, and Bohyung Han. 在视觉跟踪的树结构中传递卷积神经网络与建模（Modeling and Propagating CNNs in a Tree Structure for Visual Tracking.）(VOT2016 Winner,TCNN)

3.4 图像说明

[1] Farhadi,Ali,etal. 每幅图都讲述了一个故事：从图像中生成句子（Every picture tells a story: Generating sentences from images.）

[2] Kulkarni, Girish, et al. 儿语：理解并生成图像的描述（talk: Understanding and generating image deions.）

[3] Vinyals, Oriol, et al. 展示与表达：一个神经图像字幕生成器（Show and tell: A neural image caption generator）

[4] Donahue, Jeff, et al. 视觉认知和描述的长期递归卷积网络（Long-term recurrent convolutional networks for visual recognition and deion）

[5] Karpathy, Andrej, and Li Fei-Fei. 产生图像描述的深层视觉语义对齐（Deep visual-semantic alignments for generating image deions）

[6] Karpathy, Andrej, Armand Joulin, and Fei Fei F. Li. 双向图像句映射的深片段嵌入（Deep fragment embeddings for bidirectional image sentence mapping）

[7] Fang, Hao, et al. 从字幕到视觉概念，从视觉概念到字幕（From captions to visual concepts and back）

[8] Chen, Xinlei, and C. Lawrence Zitnick. 图像字幕生成的递归视觉表征学习「Learning a recurrent visual representation for image caption generation

[9] Mao, Junhua, et al. 使用多模型递归神经网络（m-rnn）的深度字幕生成（Deep captioning with multimodal recurrent neural networks (m-rnn).）

[10] Xu, Kelvin, et al. 展示、参与与表达：视觉注意的神经图像字幕生成（Show, attend and tell: Neural image caption generation with visual attention.）

3.5 机器翻译

[1] Luong, Minh-Thang, et al. 神经机器翻译中生僻词问题的处理（Addressing the rare word problem in neural machine translation.）

[2] Sennrich, et al. 带有子词单元的生僻字神经机器翻译（Neural Machine Translation of Rare Words with Subword Units）

[3] Luong, Minh-Thang, Hieu Pham, and Christopher D. Manning. 基于注意力的神经机器翻译的有效途径（Effective approaches to attention-based neural machine translation.）

[4] Chung, et al. 一个机器翻译无显式分割的字符级解码器（A Character-Level Decoder without Explicit Segmentation for Neural Machine Translation）

[5] Lee, et al. 无显式分割的全字符级神经机器翻译（Fully Character-Level Neural Machine Translation without Explicit Segmentation）

[6] Wu, Schuster, Chen, Le, et al. 谷歌的神经机器翻译系统：弥合人与机器翻译的鸿沟（Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation）

3.6 机器人

[1] Koutník, Jan, et al. 发展用于视觉强化学习的大规模神经网络（Evolving large-scale neural networks for vision-based reinforcement learning.）

[2] Levine, Sergey, et al. 深度视觉眼肌运动策略的端到端训练（End-to-end training of deep visuomotor policies.）

[3] Pinto, Lerrel, and Abhinav Gupta. 超大尺度自我监督：从 5 万次尝试和 700 机器人小时中学习抓取（Supersizing self-supervision: Learning to grasp from 50k tries and 700 robot hours.）

[4] Levine, Sergey, et al. 学习手眼协作用于机器人掌握深度学习和大数据搜集（Learning Hand-Eye Coordination for Robotic Grasping with Deep Learning and Large-Scale Data Collection.）

[5] Zhu, Yuke, et al. 使用深度强化学习视觉导航目标驱动的室内场景（Target-driven Visual Navigation in Indoor Scenes using Deep Reinforcement Learning.）

[6] Yahya, Ali, et al. 使用分布式异步引导策略搜索进行集体机器人增强学习（Collective Robot Reinforcement Learning with Distributed Asynchronous Guided Policy Search.）

[7] Gu, Shixiang, et al. 深度强化学习用于机器操控（Deep Reinforcement Learning for Robotic Manipulation.）

[8] A Rusu, M Vecerik, Thomas Rothörl, N Heess, R Pascanu, R Hadsell. 模拟实机机器人使用过程网从像素中学习（Sim-to-Real Robot Learning from Pixels with Progressive Nets.）

[9] Mirowski, Piotr, et al. 学习在复杂环境中导航（Learning to navigate in complex environments.）

3.7 艺术

[1] Mordvintsev, Alexander; Olah, Christopher; Tyka, Mike (2015). 初始主义：神经网络的更深层（Inceptionism: Going Deeper into Neural Networks）(谷歌 Deep Dream)

[2] Gatys, Leon A., Alexander S. Ecker, and Matthias Bethge. 一个艺术风格的神经算法（A neural algorithm of artistic style.） (杰出的工作，目前最成功的算法)

[3] Zhu, Jun-Yan, et al. 自然图像流形上的生成视觉操纵（Generative Visual Manipulation on the Natural Image Manifold.）

[4] Champandard, Alex J. Semantic Style Transfer and Turning Two-Bit Doodles into Fine Artworks. (神经涂鸦)

[5] Zhang, Richard, Phillip Isola, and Alexei A. Efros. 多彩的图像彩色化（Colorful Image Colorization.）

[6] Johnson, Justin, Alexandre Alahi, and Li Fei-Fei. 实时风格迁移和超分辨率的感知损失（Perceptual losses for real-time style transfer and super-resolution.）

[7] Vincent Dumoulin, Jonathon Shlens and Manjunath Kudlur. 一个艺术风格的学习表征（A learned representation for artistic style.）

[8] Gatys, Leon and Ecker, et al. 神经风格迁移中的控制感知因子（Controlling Perceptual Factors in Neural Style Transfer.） (控制空间定位、色彩信息和全空间尺度方面的风格迁移)

[9] Ulyanov, Dmitry and Lebedev, Vadim, et al. 纹理网络：纹理和风格化图像的前馈合成（Texture Networks: Feed-forward Synthesis of Textures and Stylized Images.） (纹理生成和风格迁移)

3.8 对象分割

[1] J. Long, E. Shelhamer, and T. Darrell, 用于语义分割的全卷积网络（Fully convolutional networks for semantic segmentation）

[2] L.-C. Chen, G. Papandreou, I. Kokkinos, K. Murphy, and A. L. Yuille. 具有深度卷积网络和全连接的条件随机场的语义图像分割（Semantic image segmentation with deep convolutional nets and fully connected crfs）

[3] Pinheiro, P.O., Collobert, R., Dollar, P. 学习如何分割候选对象（Learning to segment object candidates）

[4] Dai, J., He, K., Sun, J. 基于多任务网络级联的实例感知语义分割（Instance-aware semantic segmentation via multi-task network cascades）

[5] Dai, J., He, K., Sun, J. 实例敏感的全卷积网络（Instance-sensitive Fully Convolutional Networks）

## 十个利用矩阵解决的经典题目

这里的操作是对所有点同时进行的。其中翻转是以坐标轴为对称轴进行翻转（两种情况），旋转则以原点为中心。如果对每个点分别进行模拟，那么m个操作总共耗时O(mn)。利用矩阵乘法可以在O(m)的时间里把所有操作合并为一个矩阵，然后每个点与该矩阵相乘即可直接得出最终该点的位置，总共耗时O(m+n)。假设初始时某个点的坐标为x和y，下面5个矩阵可以分别对其进行平移、旋转、翻转和旋转操作。预先把所有m个操作所对应的矩阵全部乘起来，再乘以(x,y,1)，即可一步得出最终点的位置。

由于矩阵乘法具有结合律，因此A^4 = A * A * A * A = (A*A) * (A*A) = A^2 * A^2。我们可以得到这样的结论：当n为偶数时，A^n = A^(n/2) * A^(n/2)；当n为奇数时，A^n = A^(n/2) * A^(n/2) * A （其中n/2取整）。这就告诉我们，计算A^n也可以使用二分快速求幂的方法。例如，为了算出A^25的值，我们只需要递归地计算出A^12、A^6、A^3的值即可。根据这里的一些结果，我们可以在计算过程中不断取模，避免高精度运算。

这道题两次二分，相当经典。首先我们知道，A^i可以二分求出。然后我们需要对整个题目的数据规模k进行二分。比如，当k=6时，有：
A + A^2 + A^3 + A^4 + A^5 + A^6 =(A + A^2 + A^3) + A^3*(A + A^2 + A^3)

应用这个式子后，规模k减小了一半。我们二分求出A^3后再递归地计算A + A^2 + A^3，即可得到原问题的答案。

POJ3233题解： Matrix Power Series

题目大意：顺次给出m个置换，反复使用这m个置换对初始序列进行操作，问k次置换后的序列。m<=10, k<2^31。
首先将这m个置换“合并”起来（算出这m个置换的乘积），然后接下来我们需要执行这个置换k/m次（取整，若有余数则剩下几步模拟即可）。注意任意一个置换都可以表示成矩阵的形式。例如，将1 2 3 4置换为3 1 2 4，相当于下面的矩阵乘法：

置换k/m次就相当于在前面乘以k/m个这样的矩阵。我们可以二分计算出该矩阵的k/m次方，再乘以初始序列即可。做出来了别忙着高兴，得意之时就是你灭亡之日，别忘了最后可能还有几个置换需要模拟。

大家自己去看看吧，书上讲得很详细。解题方法和上一题类似，都是用矩阵来表示操作，然后二分求最终状态。

根据前面的一些思路，现在我们需要构造一个2 x 2的矩阵，使得它乘以(a,b)得到的结果是(b,a+b)。每多乘一次这个矩阵，这两个数就会多迭代一次。那么，我们把这个2 x 2的矩阵自乘n次，再乘以(0,1)就可以得到第n个Fibonacci数了。不用多想，这个2 x 2的矩阵很容易构造出来：

我们可以用上面的方法二分求出任何一个线性递推式的第n项，其对应矩阵的构造方法为：在右上角的(n-1)*(n-1)的小矩阵中的主对角线上填1，矩阵第n行填对应的系数，其它地方都填0。例如，我们可以用下面的矩阵乘法来二分计算f(n) = 4f(n-1) - 3f(n-2) + 2f(n-4)的第k项：

利用矩阵乘法求解线性递推关系的题目我能编出一卡车来。这里给出的例题是系数全为1的情况。

把给定的图转为邻接矩阵，即A(i,j)=1当且仅当存在一条边i->j。令C=A*A，那么C(i,j)=ΣA(i,k)*A(k,j)，实际上就等于从点i到点j恰好经过2条边的路径数（枚举k为中转点）。类似地，C*A的第i行第j列就表示从i到j经过3条边的路径数。同理，如果要求经过k步的路径数，我们只需要二分求出A^k即可。

我们以M=3为例进行讲解。假设我们把这个矩形横着放在电脑屏幕上，从右往左一列一列地进行填充。其中前n-2列已经填满了，第n-1列参差不齐。现在我们要做的事情是把第n-1列也填满，将状态转移到第n列上去。由于第n-1列的状态不一样（有8种不同的状态），因此我们需要分情况进行讨论。在图中，我把转移前8种不同的状态放在左边，转移后8种不同的状态放在右边，左边的某种状态可以转移到右边的某种状态就在它们之间连一根线。注意为了保证方案不重复，状态转移时我们不允许在第n-1列竖着放一个多米诺骨牌（例如左边第2种状态不能转移到右边第4种状态），否则这将与另一种转移前的状态重复。把这8种状态的转移关系画成一个有向图，那么问题就变成了这样：从状态111出发，恰好经过n步回到这个状态有多少种方案。比如，n=2时有3种方案，111->011->111、111->110->111和111->000->111，这与用多米诺骨牌覆盖3x2矩形的方案一一对应。这样这个题目就转化为了我们前面的例题8。
后面我写了一份此题的源代码。你可以再次看到位运算的相关应用。

题目大意是，检测所有可能的n位DNA串有多少个DNA串中不含有指定的病毒片段。合法的DNA只能由ACTG四个字符构成。题目将给出10个以内的病毒片段，每个片段长度不超过10。数据规模n<=2 000 000 000。
下面的讲解中我们以ATC,AAA,GGC,CT这四个病毒片段为例，说明怎样像上面的题一样通过构图将问题转化为例题8。我们找出所有病毒片段的前缀，把n位DNA分为以下7类：以AT结尾、以AA结尾、以GG结尾、以?A结尾、以?G结尾、以?C结尾和以??结尾。其中问号表示“其它情况”，它可以是任一字母，只要这个字母不会让它所在的串成为某个病毒的前缀。显然，这些分类是全集的一个划分（交集为空，并集为全集）。现在，假如我们已经知道了长度为n-1的各类DNA中符合要求的DNA个数，我们需要求出长度为n时各类DNA的个数。我们可以根据各类型间的转移构造一个边上带权的有向图。例如，从AT不能转移到AA，从AT转移到??有4种方法（后面加任一字母），从?A转移到AA有1种方案（后面加个A），从?A转移到??有2种方案（后面加G或C），从GG到??有2种方案（后面加C将构成病毒片段，不合法，只能加A和T）等等。这个图的构造过程类似于用有限状态自动机做串匹配。然后，我们就把这个图转化成矩阵，让这个矩阵自乘n次即可。最后输出的是从??状态到所有其它状态的路径数总和。
题目中的数据规模保证前缀数不超过100，一次矩阵乘法是三方的，一共要乘log(n)次。因此这题总的复杂度是100^3 * log(n)，AC了。