优化算法的优化
摘要: 优化算法应用于工程中是为了求出数学方程的最小值。此外，也可以用来评价设计权衡，评估控制系统和发现数据中的异常值。
求解一个较难的最优化问题的方法之一是先简化成一个简单的问题，然后在此基础上逐步增加复杂 ...
| 优化算法应用于工程中是为了求出数学方程的最小值。此外，也可以用来评价设计权衡，评估控制系统和发现数据中的异常值。 求解一个较难的最优化问题的方法之一是先简化成一个简单的问题，然后在此基础上逐步增加复杂的信息并依次求解，最终得到一个与原来较为近似的解。在实际过程中，这种方法很有用，但是理论上是没有依据的。
“首次，我们求解了关于该方法的一些基本方程。” Mobahi说，“比方说，我告诉你从一个简单的问题开始，但是我并不会告诉你如何去选择一个简单的问题。那么就可能有很多种方法去求解这个问题。但是，哪个是比较好的呢？即便是我告诉你从哪个方程开始求解，也会有很多的途径去解决这个实际问题，你用的不同方法将会影响你最终的求解。” 见底 为了搞清楚最优化的工作原理，假设你是一个罐装食物的零售商，想要设计一个储钱罐。你想要一个单位体积比表面积最小的那种。这是一个与罐的高度和半径相关的函数，因此，如果你能求出一个函数的最小值，那么就可以得到罐的最佳结构尺寸参数。如果你是一个设计汽车的人，想要得到不同材料下的汽车质量与阻力与最低成本之间的关系，这个也称作经济函数，虽然比之前的复杂，但是基本原理都是相同的。 机器学习算法经常需要鉴别对分类有用的数据，比方说汽车的可视化结构参数。找到最小特征对应着最大的预测值，这也是一个最优化的问题。 “大多数我们求解最优化任务的算法是基于局部搜索的算法，这意味着可以用假设值对其初始化，他们可以朝着你想要的方向进行求解。” Mobahi说，“用这个方法，这些问题可以收敛求解到一个局部最小值，这个本地最小是指与周围的值相比，它是最小的，但这不是一个全局最小值。也有可能，在较远的地方还有一个比这个最小值更小的值。” 然而如果函数是凸函数，那么他的最低点就是最小值，也就是一个局部最小等价于一个全局最小。比方说，函数y=x2是一个凸函数，这是一个中心在原点的抛物线。函数y=sinx不是一个凸函数，因为他的图像是一个波。 一帆风顺 Mobahi 和Fisher使用高斯平滑的方法来求解一个凸函数的最优化问题。高斯平滑法将一个复杂的函数转化成一个类似的函数，它可以通过加权平均的方法得到原复杂函数上得不到的点。这可以使得图像具有波形，从而求出极值。 权重分配通过高斯函数或者正态分布函数的周围的值决定——从基本数据描绘的钟形曲线。只计算附近值，很少计算较远值。 高斯函数的宽度由单一变量决定，Mobahi和Fisher一开始设置的高斯宽度很宽，在某种条件下，就会产生一个凸函数。然后不断的调整高斯函数的宽度中，他们又产生了一系列的问题。每次，他们都会用上一个问题来的解来作为下一个问题的初始值。当分布曲线的宽度缩减成零时，他们才意识到他们做的每一步都是在将一个复杂的问题简单化。 “最优化中的延拓法在实际生活中广为应用，特别是在计算可视化领域中，求解对其问题，追踪问题等等，尽管应用很广泛，但是对其的研究还是不够深入，对其的了解不够透彻”。John Wright说，他是哥伦比亚大学电子工程的副教授，但是他没有参与到这项研究工作中，“Hossein的工作中最有意思的部分是他应用了延拓法来分析研究这个问题，这在他的论文中有较为详尽的描述。” “实际的用途是，你可能有不同的方式，去处理平滑或者由粗到细的优化，”Wright说。“如果你提前知道了有一个正确的方法，那么你就不要浪费时间在错误的方法上。你有一个方法比你漫无目的的寻找更好，因为你知道你做的是对的还是错的。” 本文版权归研发埠所有，如需转载请注明出处！ |
上一篇：CFD软件技能的提高：简述下一篇：碱金属在水中爆炸机理的新解释
