作为一个标准的程序员，你应该有少量的基础数学素养，尤其是现在很多人都在学习人工智能。 很多程序员可能连这么少量的基础数学题都答不出来。 1.矩阵A(m，n)和矩阵B(n，k)的乘积的C维是多少？2.抛硬币，正面表示1，背面表示0。值的数学期望E(x)是多少？作为一个骄傲的程序员，你应该掌握这些数学基础知识，这样你才更有可能写出一个伟大的产品。 线性代数向量是由一组实数组成的有序数组，既有大小又有方向。 N维向量A由N个有序实数组成，表示为a = [A1，A2，...一个]矩阵。线性映射矩阵通常表示从N维线性空间V到M维线性空间W的映射F: V->注:wimage.png:为了书写方便，X.T表示向量X的换位。 这里:X(x1，x2，...，xn)。t，y(y1，y2，...ym)。t，都是列向量。 两个线性空间中的两个向量分别代表V和W A(m，n)是m*n矩阵，它描述了从V到w的线性映射。 Image.png转置交换矩阵的行和列。 如果加法A和B都是m × n矩阵，那么A和B的加法也是m × n矩阵，每个元素都是A和B对应元素的加法。 [A+B]ij = aij+bij。乘法如果A是k × m矩阵，B是m × n矩阵，那么乘积AB就是k × n矩阵。 对角矩阵对角矩阵是指除主对角线外所有元素都为0的矩阵。 对角线上的元素可以是0或其他值。 一个n × n对角矩阵A满足:[a] ij = 0如果I = j I，j ∈{ 1，...，n}特征值和特征向量如果一个标量λ和一个非零向量V满足Av = λv，那么λ和V分别称为矩阵A的特征值和特征向量。 矩阵分解一个矩阵通常可以用少量相对简单的矩阵来表示，称为矩阵分解。 m × n矩阵A的奇异值分解(SVD)image.png，其中U和V分别是m × m和n×n的正交矩阵，σ是m×n的对角矩阵，其对角元素称为奇异值。 n × n方阵的特征分解A特征分解定义为image.png，其中q是n × n方阵，它的每一列是A对角矩阵的特征向量，它的每一个对角元素是A的特征值 如果A是对称矩阵，那么A可以分解成image.png，其中Q是正交矩阵。 微积分的导数对于定义域和值域都是实数域中的函数f: R → R。如果f(x)在点x0的某个邻域x内，且极限image.png存在，则称函数f(x)在点x0可导，称f’(x0)为其导数或导函数。 如果函数f(x)在其定义域所包含的某个区间上的每一点都是可导的，那么也可以说函数f(x)在这个区间上是可导的。 连续函数不一定可导，可导函数一定是连续的。 例如，函数|x|是一个连续函数，但它在点x = 0处不可导。 导数加法的法则y = f(x)，z = g(x)是image.png的乘法法则。image.png的链式法则是求复合函数导数的法则，是微积分中计算导数的常用方法。 如果x ∈ R，y = g(x) ∈ R，z = f(y) ∈ R，那么image.png的Logistic函数是一个常用的S形函数，是比利时数学家Pierre Franç ois Verhulst在1844-1845年研究人口增长模型时命名的。它最初被用作生态模型。 物流功能定义为:image.png。当参数为(k = 1，x0 = 0，L = 1)时，逻辑函数称为标准逻辑函数，记为σ(x)。 Image.png逻辑函数在机器学习中被广泛使用，它经常被用来将实数空间的数映射到(0，1)区间。 标准logistic函数的导数为:image.pngsoftmax函数。softmax函数将多个标量映射成一个概率分布。 对于k个标量x1，xk，softmax函数被定义为image.png。这样，我们就可以把k个变量x1，xk变换成满足image.png的分布:Z1，ZK。当softmax函数的输入为k维向量X时，image.png，其中1k = [1，1] k× 1为 它的导数是image.png数学优化的离散优化和连续优化:根据输入变量X的取值范围能否为实数范围，数学优化问题可分为离散优化问题和连续优化问题。 无界优化与有界优化:在连续优化问题中，根据变量是否存在有界条件，优化问题可分为无界优化问题和有界优化问题。 该算法优化了全局最优和局部最优的image.pngimage.png黑塞矩阵，这在image.png的运筹学中有所描述。之前的文章在计算梯度步长的时候也用过:image.pngimage.png梯度的原意是一个向量(vector)，意思是函数在这一点的方向导数沿着这个方向得到最大值，也就是函数在这一点沿着这个方向(这个梯度的方向)变化最快，变化率(这个梯度的模)最大。 梯度下降法梯度下降法，也称为最速下降法，常用于求解无约束优化的最小值问题。 image.png梯度下降法的过程如图所示。 曲线是一条等高线(水平集)，即由一组不同的常数与函数f组成的曲线。 红色箭头指向该点渐变的反方向(渐变方向垂直于通过该点的轮廓线)。 沿着梯度下降方向，最终会达到函数f值的局部最优解。 Image.png上升法如果要求解一个极大值问题，需要在梯度的正方向迭代，逐步逼近函数的局部极大值。这个过程称为梯度上升法。 概率论概率论概率论主要研究大量随机现象的定量规律，应用非常广泛，几乎涵盖所有领域。 离散随机变量如果随机变量X的可能值是有限的，可以枚举，并且有n个有限值{x1，，，xn}，则称X为离散随机变量。 要了解X的统计规律，就要知道它取每一个可能值xi的概率，即概率分布或分布image.pngp (x1)，p (xn)称为离散型随机变量X，满足image.png中常见的离散型随机概率分布:伯努利分布、image.png二项分布、image.png连续型随机变量，它不同于离散型随机变量。少数随机变量X的值是无法枚举的，它是由全部实数或部分区间组成的。例如，image.png称X为连续随机变量。 概率密度函数连续随机变量X的概率分布一般用概率密度函数p(x)来描述 P(x)是一个可积函数，它满足以下条件:如果image.png的均匀分布是一个有限数，则[a，b]上均匀分布的概率密度函数定义为image.png正态分布，也称为高斯分布，它是自然界中最常见的分布，具有许多良好的性质。在很多领域都有非常重要的影响，它的概率密度函数是image.png，其中σ>；0和σ是常数。 如果随机变量X服从一个带参数和σ的概率分布，则简写为image.png。当σ = 1时，称为标准正态分布。 均匀分布和正态分布的概率密度函数图:image.png累积分布函数对于一个随机变量X，其累积分布函数是该随机变量X的值小于或等于X的概率 以image.png连续型随机变量X为例，累积分布函数定义为:image.png其中p(x)为概率密度函数，标准正态分布的累积分布函数:image.png随机向量随机向量是指由一组随机变量组成的向量。 如果x1，x2，xn是n个随机变量，那么[x1，x2，xn]称为n维随机向量。 一维随机向量称为随机变量。 随机向量又分为离散随机向量和连续随机向量。 条件概率分布对于离散型随机向量(X，Y)，随机变量Y = y的条件概率如下:image.png对于二维连续型随机向量(X，Y)，随机变量Y = y的条件概率密度函数是image.png期望和方差期望；对于离散变量x，其概率分布为p(x1)，，p(xn)，x的期望或均值定义为image.png。对于连续型随机变量x，概率密度函数为p (x)，其期望定义为image.png方差随机变量x的方差，用来定义其概率分布的离散程度。随机变量x的方差，定义为image.png的标准差，也称为其二阶矩。 x的根方差或标准差 Image.png协方差两个连续随机变量X和Y的协方差用于衡量两个随机变量的分布之间的总体可变性，image.png协方差通常用于衡量两个随机变量之间的线性相关性。 如果两个随机变量的协方差为0，则称这两个随机变量线性不相关。 两个随机变量之间没有线性相关性，不代表它们是独立的。可能存在某种非线性函数关系。 相反，如果X和Y是统计独立的，那么它们之间的协方差一定是0。 随机过程是一组随机变量Xt，其中T属于一个指数集T。 指标T可以定义在时域或空域，但一般是时域，用实数或正数表示。 当t为实数时，随机过程为连续随机过程；当t为整数时，为离散随机过程。 日常生活中的很多例子，包括股票波动、语音信号、身高变化等。，可视为随机过程。 常见的与时间相关的随机过程模型包括Bayeux过程、随机游走、马尔可夫过程等。 马尔可夫过程是指在给定当前状态和所有过去状态的情况下，其未来状态的条件概率分布只取决于当前状态的随机过程。 image.png X0:t表示变量集X0，x1，...，XT和x0:t是状态空间中的状态序列。 马尔可夫链离散时间马尔可夫过程也叫马尔可夫链。 如果一个马尔可夫链的条件概率是image.png马尔可夫用的，可以看一下之前写的一篇有趣的文章:随机过程和高斯过程，比较复杂，这里就不详细解释了。 信息论信息论是数学、物理学、统计学、计算机科学等交叉学科领域。 信息论最早由克劳德·香农提出，主要研究信息的量化、存储和交流的方法。 在机器学习的相关领域，信息论也有大量的应用。 如特征提取、统计推断、自然语言求解等。 自我信息和熵在信息论中，熵是用来衡量随机事件的不确定性的。 假设对一个随机变量X(取值集为C，概率分布为p(x)，x ∈ C)进行编码，自信息I(x)为变量X = x时的信息量或编码长度，定义为I (X) = log (P (X))，则随机变量X的平均编码长度，即熵定义为image.png其中P (X) 熵越高，随机变量的信息量越多；熵越低，信息就越少。 如果变量x是p(x) = 1当且仅当它是x，那么熵是0。 也就是说，对于某个信息，它的熵是0，信息量也是0。 如果概率分布是均匀分布，熵最大。 假设一个随机变量X有三个可能的值x1，x2，x3，对应的不同概率分布的熵如下:image.png联合熵和条件熵对于两个离散随机变量X和Y，假设X的值集是X；y的值集为y，其联合概率分布满足p(x，y)，则x和y的联合熵为image.pngX，y的条件熵为互信息。互信息是在一个变量已知的情况下，另一个变量的不确定性降低程度的度量。 两个离散随机变量X和Y的互信息定义为image.png交叉熵和散度交叉熵分布为p(x)的随机变量，熵H(p)代表其最佳编码长度。 交叉熵是根据概率分布Q的最优编码对具有真实分布P的信息进行编码的长度，其被定义为image.png。如果给定P，Q和P越接近，交叉熵就越小。如果Q和P之间的距离越大，交叉熵就越大。 零学习Java编程，可以加入我的十年Java学习园地，交流技术，共享资源，答疑解惑，参考经验。