【图文】最优化方法(凸集与凸函数)_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
评价文档：
最优化方法(凸集与凸函数)
上传于||文档简介
&&最​优​化​方​法​课​件
大小：722.00KB
登录百度文库，专享文档复制特权，财富值每天免费拿！
你可能喜欢工具类服务
编辑部专用服务
作者专用服务
凸函数的等价证明及判定
凸函数是微积分学习中的一个重要内容,在微积分中占有重要地位,其定义、性质经常用来判断一个函数是否为凸函数,凸性是函数的一种重要性质,具有这种性质的函数在近代分析和优化两大领域中起着重要的作用,本文深入地讨论了凸函数的几种不同定义的等价性,判定定理及凸函数的应用,给出比较全面判断一个函数是否为凸函数的方法.
作者单位：
西安医学高等专科学校
年，卷(期)：
机标分类号：
在线出版日期：
本文读者也读过
相关检索词
万方数据知识服务平台--国家科技支撑计划资助项目（编号：2006BAH03B01）(C)北京万方数据股份有限公司
万方数据电子出版社凸函数证明_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
格式 文档名称 用户评分 浏览量 下载量& & 本文主要归纳总结在未必可微的条件之下一元凸函数$f(x)$具有的相关性质,本文主要参考了常庚哲、史济怀编著《数学分析教程》上册,谢惠民、恽自求等编著《数学分析习题课讲义》上册,梅加强编著《数学分析》等文献.
& & 定义1&设函数$f$在区间$I$上有定义,如果对任何$x_1,x_2\in I$但$x_1\neq x_2,$和任意的$\lambda_1,\lambda_2&0,\lambda_1+\lambda_2=1$都有\begin{align}f(\lambda_1x_1+\lambda_2x_2)\leqslant\lambda_1f(x_1)+\lambda_2f(x_2),\end{align}我们称$f$为$I$上的凸函数.如果对任何$x_1,x_2\in I$但$x_1\neq x_2,$和任意的$\lambda_1,\lambda_2&0,\lambda_1+\lambda_2=1,$(1)式总不能取得等号,则称$f$在$I$上是严格凸函数.
& & 必须指出,凸函数的等价定义还很多,不同教材使用的定义方法不同,在梅加强编著《数学分析》中用了如下的定义2.
& & 定义2&设$f$为区间$I$上定义的函数.如果对任意$x_1&x_2\in I,$定义$$l(x):=\frac{f(x_2)-f(x_1)}{x_2-x_1}(x-x_1)+f(x_1),\text{或}l(x):=f(x_2)-\frac{f(x_2)-f(x_1)}{x_2-x_1}(x_2-x),$$不等式\begin{align}f(x)\leqslant l(x),\forall x\in[x_1,x_2]\end{align}均成立,则称$f$为$I$上的凸函数.
& & 定义1与定义2等价是显然的,直观上可由(1),(2)两式的几何意义得到.
& & 不等式(2)可改写为\begin{align}\frac{f(x)-f(x_1)}{x-x_1}\leqslant\frac{f(x_2)-f(x_1)}{x_2-x_1}\leqslant\frac{f(x_2)-f(x)}{x_2-x},\forall x\in(x_1,x_2).\end{align}事实上,不等式(3)与\begin{align}\frac{f(x)-f(x_1)}{x-x_1}\leqslant\frac{f(x_2)-f(x)}{x_2-x},\forall x\in(x_1,x_2)\end{align}等价,因若$k,l&0,\dfrac{m}{k}\leqslant\dfrac{n}{l},$则有$\dfrac{m}{k}\leqslant\dfrac{m+n}{k+l}\leqslant\dfrac{n}{l},$故由此得到$$\frac{f(x)-f(x_1)}{x-x_1}\leqslant\frac{(f(x)-f(x_1))+(f(x_2)-f(x))}{(x-x_1)+(x_2-x)}\leqslant\frac{f(x_2)-f(x)}{x_2-x},$$此即为不等式(3).因此我们得到下面的定理1.
& &&定理1 函数$f$在区间$I$上为凸函数当且仅当:对$I$上的任意三点$x_1&x_2&x_3,$总有\begin{align*}\frac{f(x_2)-f(x_1)}{x_2-x_1}\leqslant\frac{f(x_3)-f(x_2)}{x_3-x_2}.\end{align*}
& & 定理1有时也写成:函数$f$在区间$I$上为凸函数当且仅当对$I$上的任意三点$x_1&x_2&x_3,$总有\begin{align*}\frac{f(x_2)-f(x_1)}{x_2-x_1}\leqslant\frac{f(x_3)-f(x_1)}{x_3-x_1}\leqslant\frac{f(x_3)-f(x_2)}{x_3-x_2}.\end{align*}故对$(x_1,x_2)$上的凸函数$f,$取定一点$a\in(x_1,x_2),$函数$$g(x)=\frac{f(x)-f(a)}{x-a}$$在$(a,x_2)$上单调上升,在$(x_1,a)$上亦单调上升,且$$g(x)\geqslant g(y),\forall x\in(a,x_2),y\in(x_1,a).$$由此再借助单调有界定理可立得凸函数$f$在区间$I$的内点处都存在左、右导数,故凸函数$f$在区间$I$的内点处连续.事实上,由此还可证明凸函数$f$在区间$I$的内闭区间$J$上满足$\mathbf{Lipschitz}$条件,即存在$M&0,$对一切$x_1,x_2\in J,$不等式$$|f(x_1)-f(x_2)|\leqslant M|x_1-x_2|$$总成立,证明很容易,这里从略.
& & 由凸函数可构造很多不等式,这些不等式一般可归结为下面的$\mathbf{Jensen}$不等式.
& &&定理2($\mathbf{Jensen}$不等式)&设$f$在区间$I$上为凸函数,则对任何$x_1,x_2,\ldots,x_n\in I,\lambda_1,\lambda_2,\ldots,\lambda_n&0$且$$\sum_{i=1}^{n}\lambda_i=1,$$总有不等式\begin{align}f\left(\sum_{i=1}^{n}\lambda_ix_i\right)\leqslant\sum_{i=1}^{n}\lambda_if(x_i)\end{align}成立.
& &&证 用数学归纳法.当$n=2$时,(5)与(1)相同,故而成立.
假设对不超过$n$的正整数,(5)都成立.任取$\lambda_1,\lambda_2,\ldots,\lambda_n,\lambda_{n+1}&0$且$$\sum_{i=1}^{n+1}\lambda_i=1,\sum_{i=1}^{n}\lambda_i=:S\in(0,1),$$由归纳假设可有\begin{align*}f\left(\sum_{i=1}^{n+1}\lambda_ix_i\right)&=f\left(S\left(\sum_{i=1}^{n}\frac{\lambda_i}{S}x_i\right)+\lambda_{n+1}x_{n+1}\right)\\&\leqslant Sf\left(\sum_{i=1}^{n}\frac{\lambda_i}{S}x_i\right)+\lambda_{n+1}f(x_{n+1})\\&\leqslant S\sum_{i=1}^{n}\frac{\lambda_i}{S}f(x_i)+\lambda_{n+1}f(x_{n+1})\\&=\sum_{i=1}^{n+1}\lambda_if(x_i),\end{align*}因此不等式(5)对一切$n\in\mathbb{Z}_+$成立. &$\square$
& & 特别地,取$\lambda_1=\lambda_2=\ldots=\lambda_n=\dfrac{1}{n},$对凸函数$f,$我们有\begin{align*}f\left(\frac{x_1+x_2+\ldots+x_n}{n}\right)\leqslant\frac{1}{n}\left[f(x_1)+f(x_2)+\ldots+f(x_n)\right],\forall x_1,x_2,\ldots,x_n\in I,\end{align*}再取$n=2,$可得\begin{align}f\left(\frac{x_1+x_2}{2}\right)\leqslant\frac{f(x_1)+f(x_2)}{2},\forall x_1,x_2\in I.\end{align}
& & 一个很自然的问题,如果有函数满足$\mathbf{Jensen}$不等式(6),那么该函数一定是凸函数吗?回答一般是否定的,我们考虑所谓的$\mathbf{Cauchy}$函数方程\begin{align}f(x+y)=f(x)+f(y),\forall x,y\in\mathbb{R},\end{align}如果(7)的解$\phi(x)$在某一点连续,则可证明$$\phi(x)=x\phi(1),$$因此若(7)有不连续解$\psi(x),$则$\psi(x)$处处不连续,故这样的$\psi(x)$不可能是$\mathbb{R}$上的凸函数(因为它不能满足凸函数在定义域内点处连续这个必要条件),但$\psi(x)$显然满足$\mathbf{Jensen}$不等式(并且总取等号).而事实上,这样的不连续解$\psi(x)$是存在的,这可参考谢邦杰编著《超穷数与超穷论法》第9节例7.然而,假若我们增加$f$连续的条件,则可得到$f(x)$是凸函数.
& &&定理3&设$f$为区间$I$上的连续函数,则$f$为凸函数当且仅当(6)成立.
必要性显然成立,下面只证明充分性.事实上,梅加强编著《数学分析》命题5.4.3已给出证明,这里我们运用另一不同方法证明.
& &&证&我们证明$f$满足定义1中的不等式(1).先假定$\lambda$是有穷二进制小数,设$$\lambda=\sum_{i=1}^{n}\dfrac{a_i}{2^i},$$这里$a_i\in\{0,1\},i=1,2,\ldots,n-1,a_n=1,$则$$1-\lambda=\sum_{i=1}^{n}\dfrac{b_i}{2^i},b_i=1-a_i,i=1,2,\ldots,n-1,b_n=1.$$显然,对$i=1,2,\ldots,n-1,x_1,x_2\in I,$总有$$f(a_ix_1+b_ix_2)=a_if(x_1)+b_if(x_2).$$结合$\mathbf{Jensen}$不等式,我们有\begin{align*}f(\lambda x_1+(1-\lambda)x_2)&=f\left(x_1\sum_{i=1}^{n}\dfrac{a_i}{2^i}+x_2\sum_{i=1}^{n}\dfrac{b_i}{2^i}\right)\\&=f\left(\sum_{i=1}^{n}\dfrac{a_ix_1+b_ix_2}{2^i}\right)\\&=f\left(\dfrac{a_1x_1+b_1x_2}{2}+\frac{1}{2}\sum_{i=2}^{n}\dfrac{a_1x_1+b_ix_2}{2^{i-1}}\right)\\&\leqslant\frac{1}{2}f(a_1x_1+b_1x_2)+\frac{1}{2}f\left(\sum_{i=2}^{n}\dfrac{a_ix_1+b_ix_2}{2^{i-1}}\right)\\&=\frac{1}{2}[a_1f(x_1)+b_1f(x_2)]+\frac{1}{2}f\left(\sum_{i=2}^{n}\dfrac{a_ix_1+b_ix_2}{2^{i-1}}\right)\\&=\frac{1}{2}[a_1f(x_1)+b_1f(x_2)]+\frac{1}{2}f\left(\dfrac{a_2x_1+b_2x_2}{2}+\frac{1}{2}\sum_{i=3}^{n}\dfrac{a_ix_1+b_ix_2}{2^{i-2}}\right)\\&\leqslant\frac{1}{2}[a_1f(x_1)+b_1f(x_2)]+\frac{1}{2^2}f(a_2x_1+b_2x_2)+\frac{1}{2^2}f\left(\sum_{i=3}^{n}\dfrac{a_ix_1+b_ix_2}{2^{i-2}}\right)\\&=\frac{1}{2}[a_1f(x_1)+b_1f(x_2)]+\frac{1}{2^2}[a_2f(x_1)+b_2f(x_2)]+\frac{1}{2^2}f\left(\sum_{i=3}^{n}\dfrac{a_ix_1+b_ix_2}{2^{i-2}}\right)\\&\leqslant\cdots\cdots\\&\leqslant\frac{1}{2}[a_1f(x_1)+b_1f(x_2)]+\ldots+\frac{1}{2^{n-1}}[a_{n-1}f(x_1)+b_{n-1}f(x_2)]+\frac{1}{2^{n-1}}f\left(\dfrac{a_nx_1+b_nx_2}{2}\right)\\&\leqslant\frac{1}{2}[a_1f(x_1)+b_1f(x_2)]+\ldots+\frac{1}{2^{n-1}}[a_{n-1}f(x_1)+b_{n-1}f(x_2)]+\frac{f(a_nx_1)+f(b_nx_2)}{2^n}\\&=f(x_1)\sum_{i=1}^{n}\dfrac{a_i}{2^i}+f(x_2)\sum_{i=1}^{n}\dfrac{b_i}{2^i}\\&=\lambda f(x_1)+(1-\lambda)f(x_2),\end{align*}所以对二进制有穷小数$\lambda\in(0,1),$不等式(1)成立.
& & 又由于$f(x)$连续,$(0,1)$中有穷二进制小数稠密,故对每个$\lambda\in(0,1),$不等式(1)总成立.证毕. &$\square$
& & 以上讨论的函数$f$都未参加定积分的计算,下面我们给出带$\mathbf{Riemann}$积分的凸函数判别条件.
& &&定理4&设$f\in C(a,b).$
A.&如果$$\forall a&x_1&x_2&b,f\left(\frac{x_1+x_2}{2}\right)\leqslant\frac{1}{x_2-x_1}\int_{x_1}^{x_2}f(x)dx,$$则函数$f$是$(a,b)$上的凸函数;
B. 抑或如果$$\forall a&x_1&x_2&b,\frac{1}{x_2-x_1}\int_{x_1}^{x_2}f(x)dx\leqslant\frac{f(x_1)+f(x_2)}{2},$$则$f$亦为$(a,b)$上的凸函数.
& &&证 A. 任取$p,q\in(a,b),p&q,$用$y=l(x)$表示以$(p,f(p)),(q,f(q))$为端点的线段方程,显然有$$g(x):=f(x)-l(x)\in C[p,q],$$故$g(x)$在$[p,q]$中可取得最大值$M,$我们只需证明$M=0.$易验证对$g(x),$不等式$$g\left(\frac{x_1+x_2}{2}\right)\leqslant\dfrac{1}{x_2-x_1}\int_{x_1}^{x_2}g(x)dx,\forall x_1,x_2\in[p,q]$$仍然成立.假若$M=g(p)$或$M=g(q),$则$M=0.$如果有$x_0\in(p,q),g(x_0)=M,$不妨设$x_0\leqslant\dfrac{p+q}{2},$则$p$关于$x_0$的对称点$p'$仍然在$[p,q]$中,故有$$M=g(x_0)=g\left(\dfrac{p+p'}{2}\right)\leqslant\dfrac{1}{p'-p}\int_{p}^{p'}g(x)dx\leqslant M,$$因此$$\int_p^{p'}g(x)dx=M(p'-p).$$因此对某一$u_0\in(p,p'),$如果有$g(u_0)&M,$根据连续函数的局部保号性,存在$u_0$的邻域$(\alpha,\beta)\subset(p,p'),$使得$g(x)&M,$因此可得$$\int_{p}^{p'}g(x)dx=\int_{p}^{\alpha}g(x)dx+\int_{\alpha}^{\beta}g(x)dx+\int_{\beta}^{p'}g(x)dx&M(p'-p)$$之谬,故$$\forall x\in(p,p'),g(x)=M,$$根据$g(x)$的连续性可知$$0=g(p)=M,$$明所欲证.
B.&假若$f$不是凸函数,根据定义2,存在$(p,q)\subset(a,b),x_0\in(p,q),$使得$f(x_0)&l(x_0),$这里$y=l(x)$表示以$(p,f(p)),(q,f(q))$为端点的线段方程.命$$A=\{x:x&x_0,f(x)\leqslant l(x)\},B=\{x:x&x_0,f(x)\leqslant l(x)\},$$显然$A,B$皆不空,因为$p\in A,q\in B,$由于$A$有上界$x_0,$而$B$有下界$x_0,$故由确界原理知$\sup A,\inf B$都存在,记$$\sup A=\alpha,\inf B=\beta,$$由$f$连续性可得$f(\alpha)=l(\alpha),f(\beta)=l(\beta).$由确界定义知,在区间$(\alpha,\beta)$上,总有$f(x)&l(x)$成立,故有$$\int_{\alpha}^{\beta}f(x)dx&\int_{\alpha}^{\beta}l(x)dx=\frac{(\beta-\alpha)[f(\alpha)+f(\beta)]}{2},$$这与B的条件矛盾,故$f$是$(a,b)$上的凸函数. &$\square$
& & 定理5&如果$f$是$(a,b)$上的凸函数,则对任意$a&x_1&x_2&b,$总有所谓$\mathbf{Hadamard}$不等式成立:$$f\left(\frac{x_1+x_2}{2}\right)\leqslant\frac{1}{x_2-x_1}\int_{x_1}^{x_2}f(x)dx\leqslant\frac{f(x_1)+f(x_2)}{2}.$$
& &&证 我们只证明左端,右端可根据定义2直接得到.由于$f$是$(a,b)$上的凸函数,故对任意$a&x_1&x_2&b,\lambda\in[0,1],$有$$\frac{1}{2}[f(x_1+\lambda(x_2-x_1))+f(x_2-\lambda(x_2-x_1))]\geqslant f\left(\frac{x_1+x_2}{2}\right),$$对上式中的$\lambda\in[0,1]$求定积分(可积性有$f$的连续性保证),即有$$\int_0^1\frac{1}{2}[f(x_1+\lambda(x_2-x_1))+f(x_2-\lambda(x_2-x_1))]d\lambda\geqslant\int_0^1f\left(\frac{x_1+x_2}{2}\right)d\lambda,$$整理可得$$\frac{1}{x_2-x_1}\int_{x_1}^{x_2}f(t)dt\geqslant f\left(\frac{x_1+x_2}{2}\right).\;\;\square$$
& & 综合定理4,定理5可知,凸函数的定义还可由积分不等式的形式给出.
& & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & &数字情种
& & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & &
阅读(...) 评论()