江苏龙网

  1. 首页 > 人文 > >

『万微科技2016』| 多核学习(Multiple Kernel Learning)中的优化问题，优化

『运筹OR帷幄』原创
作者：门泊东吴
编者按
介绍多核学习(multiplekernellearning)中的优化问题 ， 主要是SemidefiniteProgram(SDP)和QuadraticallyConstrainedQuadraticProgram(QCQP) 。
优化领域小学生来报道 ， 最近在看多核学习(multiplekernellearning) ， 本文follow封面图中的paper[1] ， 整理一下MKL中所涉及到的一些优化问题 ， 主要是SemidefiniteProgram(SDP)和QuadraticallyConstrainedQuadraticProgram(QCQP)；学艺不精 ， 一知半(不)解 ， 欢迎大家批评指正 。
1.KernelMethod
关于kernelmethod和一些kernel-basedlearningalgorithm ， 科普介绍有很多了 ， 更多详细内容也可以去仔细阅读那本黄皮书[2] ， 我这里就简单铺一下 。
『万微科技2016』| 多核学习(Multiple Kernel Learning)中的优化问题，优化
文章图片
1.1.CriteriaUsedinKernelMethod
1.1.1.HardMargin
『万微科技2016』| 多核学习(Multiple Kernel Learning)中的优化问题，优化
文章图片
如果对这个优化问题感到陌生的 ， 不明白为什么它可以实现maximalmargin的 ， 可以去看一下黄皮书[2]的4.5SeparatingHyperplanes ， 这里不再赘述了 。
『万微科技2016』| 多核学习(Multiple Kernel Learning)中的优化问题，优化
文章图片
Thehardmarginsolutionexistsonlywhenthelabeledsampleislinearlyseparableinfeaturespace.
1.1.2.1-normSoftMargin
『万微科技2016』| 多核学习(Multiple Kernel Learning)中的优化问题，优化
文章图片
『万微科技2016』| 多核学习(Multiple Kernel Learning)中的优化问题，优化
文章图片
1.1.3.2-normSoftMargin
『万微科技2016』| 多核学习(Multiple Kernel Learning)中的优化问题，优化
文章图片
『万微科技2016』| 多核学习(Multiple Kernel Learning)中的优化问题，优化
文章图片
可以看到 ， (Dual_HM)、(Dual_SM1)、(Dual_SM2)都是convexQuadraticProgram(QP)问题 。
KernelAlignment不讲了 。。。
2.SDP和QCQP的等价关系
关于SDP的更多详细介绍 ， 推荐本公众号的另一篇文章：《优化|半正定规划(SDP)的形象理解和基本原理》 。
『万微科技2016』| 多核学习(Multiple Kernel Learning)中的优化问题，优化
文章图片
『万微科技2016』| 多核学习(Multiple Kernel Learning)中的优化问题，优化
文章图片
『万微科技2016』| 多核学习(Multiple Kernel Learning)中的优化问题，优化
文章图片
3.AlgorithmsforLearningKernels
『万微科技2016』| 多核学习(Multiple Kernel Learning)中的优化问题，优化
文章图片
3.1.ConvexSubsetofPSDmatrices
『万微科技2016』| 多核学习(Multiple Kernel Learning)中的优化问题，优化
文章图片
『万微科技2016』| 多核学习(Multiple Kernel Learning)中的优化问题，优化
文章图片
3.2.LinearCombinationofaSetofKernelMatrices
『万微科技2016』| 多核学习(Multiple Kernel Learning)中的优化问题，优化
文章图片
3.3.LinearCombinationwithNon-negativeParameters
『万微科技2016』| 多核学习(Multiple Kernel Learning)中的优化问题，优化
文章图片
『万微科技2016』| 多核学习(Multiple Kernel Learning)中的优化问题，优化
文章图片
4.写在最后
【『万微科技2016』| 多核学习(Multiple Kernel Learning)中的优化问题，优化】我知道这是篇很老的paper了 ， 而且现在大家可能更多focus在deeplearning上面 ， 但可以的话 ， 我还是想听听机器学习领域做相关研究的同学来讲讲这个方法目前的研究和应用 ， 先谢过了~最后 ， 感谢阅读这一堆枯燥的公式 。
参考文献
[1]G.R.G.Lanckriet,N.Cristianini,P.Bartlett,L.E.GhaouiandM.I.Jordan,LearningtheKernelMatrixwithSemidefiniteProgramming,JournalofMachineLearningResearch,5(Jan):27-72,2004.
[2]T.Hastie,R.TibshiraniandJ.Friedman,TheElementsofStatisticalLearning:DataMining,Inference,andPrediction,SpringerScience&BusinessMedia,2009.


推荐阅读


上一篇：【兵戎要志】俄罗斯警告：伊朗不能生战生乱，美国海军准备对伊朗舰艇开火

下一篇：一如少年模样■《战争之王》一个“高级”走私贩的发展史。