机器学习中常用的矩阵求导公式
主要copy自新浪微博MachineLearner的博客希望作为自己学习机器学习的工具。矩阵求导好像从来没有学过,讲矩阵的课不讲求导,讲求导的课不讲矩阵。像维基百科什么的查找起来又费劲。其实在实际机器学习工作中,最常用的就是实值函数yy对向量x\bf x求导。定义如下:∂y∂x=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∂y∂x1∂y∂x2⋮∂y∂xn⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥\frac{\partial y
·
主要copy自新浪微博MachineLearner的博客希望作为自己学习机器学习的工具。
矩阵求导好像从来没有学过,讲矩阵的课不讲求导,讲求导的课不讲矩阵。像维基百科什么的查找起来又费劲。其实在实际机器学习工作中,最常用的就是实值函数
y
对向量
∂y∂x=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∂y∂x1∂y∂x2⋮∂y∂xn⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥
实值函数 y 对矩阵
∂y∂X=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∂y∂x11∂y∂x21⋮∂y∂xn1∂y∂x12∂y∂x22⋮∂y∂xn2⋯⋯⋱⋯∂y∂x1n∂y∂x2n⋮∂y∂xnn⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥
因为有监督的机器学习的一般套路是给定输入 x ,选择一个模型 f 作为决策函数,由
为方便推倒有以下公式:
∂βTx∂x=β
∂xTx∂x=2x
∂xTAx∂x=(A+AT)x
Andrew Ng使用矩阵的迹相关公式:
tr(a)=a
tr(AB)=tr(BA)
tr(ABC)=tr(CAB)=tr(BCA)
∂tr(AB)A=BT
tr(A)=tr(AT)
∂tr(ABATC)A=CAB+CTABT
更多推荐
已为社区贡献2条内容
所有评论(0)