求举例几个一阶微分方程应用举例可导连续,二阶不可导的凸函数,根据定义应该有,但是自己举不出来例子,求解答

二阶导数的变号零点能反映函数的什么性质?
二阶导数的正负决定了函数的凸凹性.凸凹性定义:上凸:在定义域D中,任取不相等的两个自变量x1,x2,总有(f(x1)+f(x2))/2f((x1+x2)/2)简单来说,就是函数增(或) 减的快慢.举个例子,例如y=x,它的一阶导数y'=1,二阶导数y''=0,因此它是增函数,而且是均匀增大的.再比如y=x^2,二阶导数y''=2>0,因此它是下凸函数,在减区间越减越慢,在增区间越增越快.但是y=x^3,二阶导数y''=6x,在(-∞,0)上为负,为上凸函数,在(0,+∞)为正,为下凸函数.对比一下三个函数的图像:(1)没有凸凹性 (2)下凸函数 (3)先上凸 再下凸凸凹性不是高考考试的重点,因此也不必过于追求把它弄懂.通俗一点,f(x)就相当于物理上的位移,f'(x)就相当于物理上的速度,f''(x)就相当于物理上的加速度,这样理解可能会好一点.
为您推荐:
其他类似问题
函数的 凹凸性
0点 为拐点>0
扫描下载二维码请举一个一阶可导二阶不可导的函数的例子
°迷岛imyi
举个一阶可导二阶不可导的例子:分段函数:f(x)=0 当x=0在x=0处,f(x)的一阶导数等于0,二阶导数不存在(左导数等于0,右导数等于2)
为您推荐:
其他类似问题
函数f(x)=xsin|x|在x=0处一阶可导二阶不可导。(用定义可以证明)
希望可以帮到你。
扫描下载二维码华理高数全部复习资料之 导数的应用_百度文库
两大类热门资源免费畅读
续费一年阅读会员,立省24元!
华理高数全部复习资料之 导数的应用
上传于||暂无简介
阅读已结束,如果下载本文需要使用0下载券
想免费下载更多文档?
下载文档到电脑,查找使用更方便
还剩5页未读,继续阅读
你可能喜欢怎么理解二阶偏导与凸函数的Hessian矩阵是半正定的?
---补充--&br&感谢grapeot和顾凌峰同学的回答,我在总结两位同学的答案后又提出了一个新的疑问,和大家一起思考。首先总结一下两位同学的答案:&br&&b&第一步&/b& 凸函数判定有1st-order condition,对于凸函数有以下充分必要条件:&br&&img data-rawheight=&21& data-rawwidth=&281& src=&/c6e965a7a1aca333e77e3_b.png& class=&content_image& width=&281&&当然凸函数的定义域是一个凸集,这个1st-order condition非常好理解,就是凸函数任意一点&img src=&///equation?tex=%28X_%7B0%7D%2Cf%28X_%7B0%7D%29%29+& alt=&(X_{0},f(X_{0})) & eeimg=&1&&处的切平面,永远在&img src=&///equation?tex=f%28X%29& alt=&f(X)& eeimg=&1&&下方,你可以理解成开口向上的抛物线,切线在它下方。&br&&b&第二步&/b& 证明1st-order condition与2nd-order condition等价,从而由2nd-order condition得到函数是凸函数的判定。&br&首先&img src=&///equation?tex=f%28X%29& alt=&f(X)& eeimg=&1&&在&img src=&///equation?tex=X_%7B0%7D+& alt=&X_{0} & eeimg=&1&&处的二阶泰勒展开如下(&b&此处不严谨,没有写出二阶以上的余项,但是方便接下来的讨论,与之后我的疑问的引出,疑问就是与余项相关的&/b&):&br&&img data-rawheight=&37& data-rawwidth=&508& src=&/f2b65dd7cc8483f40cfe526_b.png& class=&origin_image zh-lightbox-thumb& width=&508& data-original=&/f2b65dd7cc8483f40cfe526_r.png&&显然只要&img data-rawheight=&37& data-rawwidth=&237& src=&/e1f0bc1d420bc683144e_b.png& class=&content_image& width=&237&&1st-order condition就会成立,而要求&br&&img data-rawheight=&37& data-rawwidth=&237& src=&/e1f0bc1d420bc683144e_b.png& class=&content_image& width=&237&&只要&img src=&///equation?tex=H_%7BX0%7D+& alt=&H_{X0} & eeimg=&1&&(点&img src=&///equation?tex=X_%7B0%7D& alt=&X_{0}& eeimg=&1&&处的Hessian矩阵)是半正定矩阵就可以了&br&&b&以上推理是非常清晰,但是我仍然有有个疑问(此处重点!!!):&/b&&br&因为只考虑了泰勒的二阶展开,如果&img src=&///equation?tex=f%28X%29& alt=&f(X)& eeimg=&1&&泰勒展开的余项如果足够大,会不会在二阶项小于0的情况下,使得二阶项与高次项的和大于等于0,从而使1st-order condition在二阶项小于0的情况下成立,更有一个值得注意的情况是,泰勒的余项甚至都有可能是不收敛的!!!&br&&br&--原话--&br&一直比较困惑Hessian矩阵的性质,微积分的大砖头教材里认为这是“高级的”话题,只给了个结论,而凸优化(Boyd)的书上也只给出了结论,所以我对这个结论理解的并不是很好,&b&请问有没有微积分进阶的教材推荐呢,比如说清楚Hessian矩阵的。。&/b&&br&&b&还有机器学习方向的童鞋是不是有必要在看完大砖头微积分书之后再去学习数学分析呢?&/b&谢谢。
---补充--感谢grapeot和顾凌峰同学的回答,我在总结两位同学的答案后又提出了一个新的疑问,和大家一起思考。首先总结一下两位同学的答案:第一步 凸函数判定有1st-order condition,对于凸函数有以下充分必要条件:当然凸函数的定义域是一个凸集,这个1st-order condition非常好理解,就是凸函数任意一点处的切平面,永远在下方,你可以理解成开口向上的抛物线,切线在它下方。第二步 证明1st-order condition与2nd-order condition等价,从而由2nd-order condition得到函数是凸函数的判定。首先在处的二阶泰勒展开如下(此处不严谨,没有写出二阶以上的余项,但是方便接下来的讨论,与之后我的疑问的引出,疑问就是与余项相关的):显然只要1st-order condition就会成立,而要求只要(点处的Hessian矩阵)是半正定矩阵就可以了以上推理是非常清晰,但是我仍然有有个疑问(此处重点!!!):…
按投票排序
教科书上有严格的证明,这个答案试图通过类比来提供一些直观上的理解。大概的结论是,多元函数的Hessian矩阵就类似一元函数的二阶导。多元函数Hessian矩阵半正定就相当于一元函数二阶导非负,半负定就相当于一元函数二阶导非正。如果这个类比成立的话,凸函数的Hessian恒半正定就非常容易理解了——这是一元凸函数二阶导必非负的多元拓展。至于为什么这个类是有道理的,你要这么看。对一元函数f(x)来说,就极值而言,一阶导为0是极值点的必要但不充分条件,一阶导为0切二阶导非负是极小值的充要条件。为什么呢,因为有泰勒展开。如果一阶导为0,二阶导非负,dx不论是多少,f(x)一定不比f(x0)小。你把多元函数也个泰勒展开,主要区别在于:1) 二阶导变成了Hessian。2) 以前只要考虑x怎么变,现在还要考虑y怎么变,x和y怎么一起变,头疼了很多。以二元为例,从一元的情况类比过来,如果一阶导为0,是不是极小值完全取决于不同的dx, dy下,能不能做到最后一项一直非负。只有对于任意,一直非负的情况,我们才能说这是极小值。如果一直非正,这就是极大值。如果它一会正一会负,就是鞍点。然后“对于任意,一直非负”这是啥?半正定的定义嘛!它就是这么引出来的,也是我们为什么需要半正定这个概念的原因(之一)。(为了突出直觉,我们假设函数有一些“良好”的性质,比如连续,可微等。)
更新:我已经委托我的同学 重写按照我的思路写了篇更详细更科普性质的博客,充要性的证明都在里面,再加上知乎本身的排版不太友好,大家可以移步她的文章------------------------------------------数分教材基本都会有关于凸性(1st-order condition和2nd-order condition)的严格证明吧,我现在寒假在家手上没有教科书,回校以后我再确认一下。 写的非常非常好,深入浅出,直观易懂。但是在1st-order condition到定义的部分的证明有点太简略了,也就是为什么是函数为凸的充要条件。为方便起见我们首先假设函数在定义域上连续函数在定义域上二阶可导现在要证明的是:definition 1st-order condition1st-order condition 2nd-order condition 实际上这些都是充要关系,但是因为题主的问题并没有要求证明必要性我这里就偷懒只证明充分性了。首先凸函数(一元)的定义是:任意属于定义域的两个自变量和,且对于任意,如果函数满足,那么函数是凸函数。直观的理解就是函数曲线上任意两点为短点的线段一定在函数曲线的上方。直观的理解就是函数曲线上任意两点为短点的线段一定在函数曲线的上方。多变量函数可以把自变量写成一个向量,同理对于定义域的任意两个自变量和,以及任意,如果函数满足,那么函数是凸函数。1st-order condition 一阶条件,还是以一元函数为例:对于定义域内任意两个自变量和,函数满足则函数为凸函数。直观的理解就是函数曲线始终位于任意一点的切线的上方。类似于 直观的理解就是函数曲线始终位于任意一点的切线的上方。类似于
提到的二阶Taylor展开中必须保证二次项非负。推广到多变量函数同理可以写为,其中梯度向量也就是在该点对各个变量求偏导构成的向量。现在要证明的凸函数有的性质。假设函数在定义域上是凸函数,那么有:然后稍微变形可以得到令,则,那么有,当趋近于0时,有这一项也就是函数在处的导数值,实际是与的复合函数,容易求导得,由于只要求在处的导数值所以容易得,代入回不等式即可得到从图形上也可以直观去理解这个推导结果,取函数曲线上两点作直线,被函数图像截断的那部分始终在曲线上方,而其他部分始终在曲线下方,那么这两个点取的无限接近,也就是通常我们说的“割线逼近切线”,那么切线就始终在曲线下方了,曲线不知道高到哪里去了。现在我们来做第二部分也就是用1st-order condition推导2nd-order condition的部分的证明了。2nd-order condition的内容就是凸函数的Hessian矩阵半正定。多元Taylor展开如果不熟悉的话可以参考点处二阶展开形式:,这里的即在点处的Hessian矩阵,也可以写作,可以理解为把梯度向量推广为二阶形式,梯度向量本身也是Jacobian矩阵的一种特例。的Hessian矩阵第行第个元素为对第个变量先求导,对第个变量后求导的二阶导数,也就是,写成矩阵形式就是:回到上面那个Taylor展开式,对于一个凸函数,我们可以试用1st-order condition得到对于任意的和都成立,那么二次项必须对于任意的两个自变量和恒成立,我们这里以增量简写,这个增量可以任意取值,那么需要对于任意一个恒成立,而这就是是半正定的充要条件。证毕。这个证明主要的就是三件事,弄清定义,弄清1st-order condition的推导,弄清2nd-order condition的推导。当然熟练求导也是很重要的。一个上/下凸函数的极值啊,一阶导数固然重要,但也要考虑二阶导数的行程。后记:如果Hessian矩阵是正定的(不是半正定),那么函数是严格的凸函数。实际上我们说的问题可以扩展到广义函数,也就是定义域内函数值依然是函数值,而定义域外的自变量对应的函数值规定为正无穷,那么这些证明和推导依然是成立的。对于凸性的要求并没有那么严格,这些定理中1st-order规定的只需要一阶可导,2nd-order只要求二阶可导。因为我个人的书写习惯原因,自变量构成的向量空间我使用的列向量,也就是说变量很多的时候,是个高高的向量,其他地方可能会把它写成一个宽宽的行矩阵,注意对应矩阵都需要转置一下就行了,对于这个证明的本质没有太大的不同。我认为一个做机器学习的学生没有必要对证明的每个细节了解清楚,计算机系开的数学类课程能听明白就行,数分不用太深入学,非要说ML和数学相关我也觉得只能算应用数学的分支,没必要对自己那么苛刻,会搬砖就行。很惭愧,只做了一些微小的工作。 题主在评论中提到:还有一个问题是为什么不用考虑泰勒二阶以上的值,有没有可能二阶非正定,但是后面项把值“加回来了”,使得1st-order condition成立?这是一个很好的问题。完整的带Peano余项的二阶Taylor展开应该是:但是这里不使用这个余项,因为这个余项在时相对于是更高阶的无穷小,而一阶条件必须对于任意小的增量成立。大概是我的书写习惯让你产生了困惑,是我的不对我道歉,那我用,这里抽象的说表示长度,而可以近似于一个只有方向的向量。根据1st-order condition 可得,对于任意一个不为0的,可以写成,这个关系在的时候依然成立(注意1st-order condition 的限定词“任意”),此时,那么必须满足的条件就是关于一阶条件的必要性“因为在每个很小的"x-x0"局部可以从hessian矩阵半正定推出1st-order condition成立,那么在整体的大范围上也是。"从直观感觉上来说显然是成立的,因为在切点附近切平面的点都在下方,那么切平面也就在下方了,所以1st-order condition成立我想了一下,这个思路应该是不可行的。只能保证在切线附近函数高于切线,而这个性质是无法累加到全局的。举个不太恰当的例子,函数在处的切线是与函数曲线相交的,函数曲线上任意一点作切线也会和函数曲线相交。这最多只能证明某个点附近的凸性,不能证明1st-order condition所表达的一个区间或者整个定义域上的凸性。我这里简单的写一种必要性证明思路。现在已知在定义域内Hessian矩阵都是半正定的。那么在使用带有Lagrange余项的一阶Taylor展开式为其中为点处的Hessian矩阵,为与之间的一个值(闭区间),且因为是半正定的,所以必然有,因此对于任意的在定义域内的和都有本来应该提供一下这个证明的直观解释,但是我今天有点累,懒得开作图包和打公式了,就放一张刚刚写的草稿权当解释了。以下为方便起见全部以一阶为例。且假设我们可以类比0阶的带Lagrange余项Taylor展开,区间上必然有一个点的切线斜率正好是增长的方向。对于增函数来说,这个点的切线斜率始终大于0,所以函数的值必然是增大的。函数的增量也就是红框中的部分,显然两部分应该是相等的,若这个等式成立那么说明处的导数值必然小于区间内某个处的导数值,如果导函数单调减那这个条件就始终成立,反之如果始终成立也就是说这个区间内导函数始终单调减。(以上说法非常不严谨,仅仅是为了给证明过程提供一个直观的解释)
其实这件事很简单,你只要Google一下convex function + second order condition,随便找一个名校的讲义就可以了……比如随手我搜到这么一篇:证明在第18页到19页。简单地说就是如果Hesse阵半正定就意味着存在支撑超平面,从而函数是凸的;反过来,如果函数是凸的,Hesse阵一定半正定(反证:假如Hesse阵不是半正定的,则存在负特征值和相应的特征向量,沿该特征向量移动一小段距离就会走到当前位置的切平面以下)关于Tayler展开式余项的问题,主要是因为你不知道多元函数的Taylor展式的余项的形式。wiki的Taylor's Theorem页面倒是有相应的内容,不过对机器学习来说,没必要了解那些复杂的记号,只会把人弄晕:在数值优化中,通常只需要展开到二阶,至于三阶以上的项爱怎么怎么着吧。于是,我在这里安利一下Jorge Nocedal & Stephen J. Wright的Numerical Optimization一书中提到的两种泰勒展开式的形式(积分余项和拉格朗日余项,上面那个证明用的是拉格朗日余项):(知乎传图片死活传不上去传网盘了。share文件夹下面有一个taylor.png)其他关于数学方面的建议是,数分就不要学了,毕竟你遇不到那些奇奇怪怪的(比如处处连续但处处不可导)函数,算功 和 你对你所研究的问题的认识更重要。如果题主对优化方面的内容感兴趣,可以看一下我上面提到的Numerical Optimization,按这本书作者的原话,"We hope, too, that this book will be used by practitioners in engineering, basic science, and industry, and our presentation style is intended to facilitate self-study." 以及 "We have used a conversational style to motivate the ideas and present the numerical algorithms. Rather than being as concise as possible, our aim is to make the discussion flow in a natural way."读起来真的非常流畅和自然。与此相反,Boyd的cvxopt真是要了我的老命了,简直是怎么难读怎么写,迄今为止我才看了四章(当然也可能是因为我太废柴)……不过必须承认Boyd的书里关于Dual Form的那一部分讲解得非常好,相当细致和深入。
在该点有支撑超平面
看到这个题目,我想起了本科数学系的时光。当年对教材里的每句话都要求能理解到位,不理解的画出来,课程后的问题也必须题题都会做。题主的问题相当于到时的课本定理证明题,算送分题吧。然现在已无力证明,证明部分基本遗忘,想想好悲剧。。就像高中当年我们地史物化生,样样都会,然现在。。上面都是感(扯)慨(淡),题主想了解严格证明,就找本数学系《数学分析》和《常微分方程》教材翻翻。
已有帐号?
无法登录?
社交帐号登录关于凸函数的性质证明
[问题点数:100分,结帖人dianyancao]
关于凸函数的性质证明
[问题点数:100分,结帖人dianyancao]
不显示删除回复
显示所有回复
显示星级回复
显示得分回复
只显示楼主
2013年5月 高性能开发大版内专家分月排行榜第二2013年4月 高性能开发大版内专家分月排行榜第二
2013年5月 高性能开发大版内专家分月排行榜第二2013年4月 高性能开发大版内专家分月排行榜第二
2013年5月 高性能开发大版内专家分月排行榜第二2013年4月 高性能开发大版内专家分月排行榜第二
本帖子已过去太久远了,不再提供回复功能。

我要回帖

更多关于 5阶矩阵求逆 举例 的文章

 

随机推荐