Formulation,formulation

Formulation,formulation

深度学习如何影响运筹学?

作者简介: @郝井华:清华大学运筹学博士,现任美团配送算法架构师,美团点评研究员。@成丰:北京大学智能科学系 硕士 中国国际金融贸易创新发展战略合作研究中心 · 特聘研究员。胖骁: @胖骁 。 @刘嘉耿 :UCLA数学系毕业生。责任编辑: @文雨之 :东北大学系统工程博士生, @爱牛氓的帆爷 :东北大学系统工程硕士生 。

本篇文章是由以上四位作者在知乎上的优秀回答,通过两位责任编辑整理修改而成。同时两位审稿专家也提出了修改建议,并且扩展和补充了一部分内容。敬请关注和扩散本公众号及同名专栏,会邀请全球知名学者陆续发布运筹学、人工智能中优化理论等相关干货、知乎Live及行业动态:前言最近看到一篇回答,YouTube 已将视频推荐全面改用深度学习实现。

但传统上,推荐系统落在运筹学的范畴,可以归结为一个矩阵补全(matrix completion)问题,用半正定规划(SDP)里的方法,如非负矩阵分解(NMF)解决,而 YouTube 的结果显示深度学习的预测准确率比传统方法好很多、快很多。其他运筹学的问题(如广告搜索、路径规划、定价估值、仓储物流)、形式(如 LP、CP、SDP、MIP)、和方法(如内点法、割平面法)也会遇到这样来自深度学习的挑战吗?如果会的话,将如何影响?学界和业界有哪些已有的讨论和成果?文中提及回答:王科:YouTube 的视频推荐算法是怎样的?:http://t.cn/RQR9nhK这个问题比较前沿一些,原来看起来相关性不那么强的技术领域,机器学习 VS 运筹学,因为深度学习的发展和突破,变得联系越来越紧密了。

1. 运筹学简介狭义的运筹学,往往特指采用LP/MILP/MIP/QP/NP 等数学模型建模、采用精确算法/启发式算法在线求解并得到满意方案以及进行相关理论分析的一类技术。所以,运筹学最早是作为应用数学的一个分支,服务于人们解决各行各业优化问题的一类基本数学工具而存在的。OR/optimization两个学科近年的复兴无疑需要归功于机器学习。

2005年以来,Lasso等方法的提出正好契合了贝叶斯学习的精神;2010年,Boyd 在故纸堆中重新找出分布式ADMM用来求解带约束机器学习问题(矩阵分解等等),成为了传统机器学习的标准范式(objective regularization);2014年以来,深度学习的兴起则直接带火了一片一阶随机算法:ADAM/RMSprop 等。

例如,SVM 的训练过程,本质上是求解一个 SQP问题;训练神经网络的梯度下降算法,是在使得训练误差极小化意义下的一个局部优化算法。由此可以看出,绝大部分机器学习模型的训练过程,都是首先将其建模为一个运筹学问题,然后采用相应算法来求解的。从这个角度看,机器学习(包括深度学习),是运筹学的一个应用领域。

以上是 Formulation,formulation 的全部内容, 来源链接: utcz.com/dzbk/652704.html

回到顶部