热效率：Facebook的数据中心服务器的设计

2014-6-26 15:19| 发布者: chenl| 查看: 1463| 评论: 0|来自: MENTOR

摘要: 在大规模下，这种定制服务器的设计节约大量总成本。Facebook计算出来，超过三年期间，单是这些服务器独自将提供至少额外19％的吞吐量，成本降低约10％，并用少几吨的原材料打造相同的功耗预算的数据中心，在商用服务器中。当与相应的数据中心设计（包括冷却，配电，备用电源和机架设计的所有方面）匹配时，功率节约增长到38％，成本节约24％，而相应的电源使用效率（PUE）≈1.07。

约翰•帕里，产业经理，Mentor Graphics公司

大型数据中心需要消耗兆瓦的电力和花费数亿美元的装备。因此，减少服务器的能耗和成本的分布可以有实质性的影响。
特别是网络，电网和云服务器很难优化，因为他们被期望在各种工作负载下运行。对于其在普赖恩维尔，俄勒冈州的第一个数据中心，Facebook开始显著提高其电源效率，成本，可靠性，可维修性和对环境的影响。为此，数据中心和服务器的许多方面进行了重新设计，采用一种整体分析的方法。本文来自Facebook的论文“高效服务器的设计”，在2011年关于超级计算的ACM会议上提出，专注于服务器的设计，结合了力，主板，热和机械设计的各个方面。在本文中，我们孤立地看待热方面。在论文全文中，Facebook计算和用实验证实其定制设计的服务器可同时降低功耗，在整个负载范围内，同时降低采购和维护成本。该设计并没有降低服务器的性能或便携性，否则将限制其适用性。
重要的是，服务器的设计已经通过“开放计算项目”被提供给开源团体，一个世界范围内快速成长的工程师社区，它的使命是设计和使用最高效的服务器，存储和数据中心硬件设计提供可扩展计算。在过去的十年中，我们目睹了个人电脑的根本转变。许多现代计算机的用途，例如联络、通信、搜索、创建和使用媒体、以及购物和博彩越来越依赖于远程服务器上为他们执行。
散热设计的FloTHERM等轴视图显示机箱，主板（带双处理器和并行的内存插槽），风扇和硬盘驱动器（HDD）在电源后面。这里的温度范围假定为27°C。

图1 散热设计的FloTHERM等轴视图显示机箱，主板（带双处理器和并行的内存插槽），风扇和硬盘驱动器（HDD）在电源后面。这里的温度范围假定为27°C。

这些应用程序的计算和存储负担已经在很大程度上从个人电脑转移到服务提供商，如亚马逊，Facebook，谷歌和微软的数据中心。因此，这些供应商可以提供更高质量和更大规模的服务，例如，以几分之一秒搜寻几乎整个互联网的能力。它也可以让供应商从规模经济中获益，并提高其服务效率。

图2 FloTHERM CFD模拟最小连续风扇转速下的气流速度

作为这些服务提供商之一，Facebook的租赁数据中心，填满了商用服务器。这种选择在小到中等规模时是有道理的，而相对的能源成本仍然是小的，并且定制的相对成本超过了潜在的好处。随着Facebook网站成长为世界上最大的网站之一，和相应计算需求的增长，他们开始探索替代方案，为服务器和数据中心进行更高效的设计。

散热设计
服务器的散热设计的目标是要冷却热元件到其工作温度，消耗最小的能源和组件成本。用于冷却数据中心级别服务器的典型机制是大量冷却空气并通过使用其内部风扇将其推送进去。凉爽的空气从服务器组件吸收热量，从服务器出口排出，然后被推送到大气中或者进行冷冻和循环。
更有效的冷却通过空气限制在通道中实现，在前面（或进口），这边面向“冷通道”，背面面向“热通道”。另一个提高冷却效率的技术是使用通道之间的风扇在大型数据中心产生气压差。在这种情况下，特定的设计目标是几乎全年不使用经过冷却的室外空气来冷却即将到来的数据中心，通过允许相对高的入口空气温度和湿度来冷却有效服务器。为了实现这一目标，需要使用一个比目前在商用服务器更有效的设计进行传热。
在这里通过服务器改善气流是一个关键因素：当内部服务器组件阻碍气流，更多的冷却能量被消耗（例如，通过更快的风扇，更冷的入口空气或更高的空气压力）。一种通过改变机箱中气流的技术被实现，来并行扩大主板和扩展热组件，而不用在对方之后。最热的组件—处理器和内存，被转移到最先接触冷空气的地方，通过将它们定位到更接近进气口，而不是典型的背部主板。
另一个修改的尺寸是服务器的高度：给定一个相对恒定的机架高度（出于维修目的），一个更高的服务器减少了冷却能量，但同时也减少机架的计算密度。计算发现，最佳服务器高度，最大化每一冷却能量比率的计算容量，是罕见的1.5U高度，有着大表面积的散热片。这个高度也允许一个空气导管，它位于主板顶部，“手术”般引导着气流到平行的热轨道上，降低了机箱内的泄漏和空气再循环。气流的阻碍被保持在最低限度，减少了将空气压出所需风扇的数量（图1）。
此外，由于高效率电源供应器在负载下产生小于20W的余热，硬盘在规定的工作温度范围力仍然保持得很好，即使在PSU后面。与之对比，典型的服务器设计，将硬盘定位在机箱的前部，以满足其散热要求。同样，需要通过该系统以保持它冷却的气流也降低，高达一半的体积流量，和标准1U服务器相比，对于相同的入口到出口的温度差（见图2）。
这种低要求，并结合智能风扇转速控制器，导致风扇，持续它们的最低转速接近常年，这取决于环境温度和工作负载。这种低速的一个附加的优点，连续操作可使风扇获得一个较长的预期寿命，相比于典型风扇的启动¬—停止循环，因此可整体提高服务器的可靠性。它也自然转化为更低的能耗和服务器冷却成本—约服务器总功耗的1％—在商用服务器则较为典型的10％。有些奇怪的是，服务器的散热元件，即使是单独的资本支出比一个典型的服务器低40〜60％，这取决于OEM组件的价格。对于这种改进的两个主要原因是使用较小的风扇（由于减少了气流）和更简单的不含散热管的热水槽（由于较大的表面积）。循环完结，这些提高的效率同样发扬到数据中心级别。该服务器能够在进口空气温度35℃，相对湿度90％下可靠地工作，超过了数据中心设备最自由的ASHRAE推荐规范。在实践中，这允许Facebook的数据中心将几乎完全依靠免费（外部）空气冷却，只在特别炎热的天气依靠罕见的蒸发冷却，而不是用冷却器。

方法论
Facebook已与两名商用服务器对比，评估了新设计的一个原型的电力，热力和性能。这两种商用服务器是一种常见的，现成的产品，来自两个主要的OEM厂商，拥有双至强X5650处理器，12GB的DDR3 ECC内存，板载千兆以太网卡和一个250G的SATA硬盘驱动器，处于1U标准配置。第一台服务器，“商品A”，被广泛部署在租用数据中心，提供Facebook主要的Web应用。第二个服务器，“商品B”，是对一个有三十年龄的模型进行了更新，使其能容纳最新一代的处理器。为了确保一个公平的比较，完全相同的CPU，DIMM和硬盘单元，轮流使用，把它们从一个服务器移动到另一个服务器。因此，这三个服务器之间唯一的不同成分是机箱，主板，风扇，电源和电压来源（208V 交流/277V交流）。

热效率
热效率是总消耗成本（TCO）的另一个重要组成因素，包括在服务器（风机能）和数据中心，冷却能都存在。散热设计是基于一个可扩展和未填充机箱板，放置在1.5U间距的开机箱中，并采用四个高效率的定制60×25毫米轴流风机。相比之下，商用服务器使用热跟踪，稠密的1U机箱，带着6个现成的40×25毫米风扇。为了评价热效率，每个服务器被放置在一个专门建造的气流室，可以通过服务器分离并测量气流，单位为立方英尺每分钟（CFM）。所测量的CFM值也被解析，通过测量服务器的交流电源和入口与出口之间的空气温差。该服务器装有人工负载，大致相当于Facebook的生产动力负载（200W左右，泄漏功耗低于10W），同时保持所有组件均为其操作热量指标内的约束。其原型结果（图3）显示出了显著改善。对于一个典型的7.5MW的数据中心，这降低了气流转化，有减少约8〜12％OPEX的冷却量。更重要的是，它使免费空气冷却，以用于数据中心。
在200W时的气流比较（在CFM中）

图3在200W时的气流比较（在CFM中）

结论
这种新的服务器设计适当地降低了总成本而不会降低性能。定制服务器的设计可以：
1.降低运行和冷却功率（例如高效的能源转换，高品质的功率特性，更少的元件，更薄和更慢的风机，改进了气流）。
2.降低购置成本和服务器重量（例如更少的，更简单的组件，更低的密度，更少的扩展选件）。
3.削减配套基础设施（例如没有集中的UPS，它没有PDU，没有冷水机组）的成本。
4.提高整体可靠性（例如更少和更简单的组件，分布式冗余电池，顺畅的正常/备份转换，交错硬盘启动，慢速风机）。
5.提高可维护性（例如，所有的前期业务接入，简化电缆管理，没有多余的塑料或覆盖）。

在大规模下，这样的设计转化为大量的节约。Facebook计算出来，超过三年期间，单是这些服务器独自将提供至少额外19％的吞吐量，成本降低约10％，并用少几吨的原材料打造相同的功耗预算的数据中心，在商用服务器中。当与相应的数据中心设计（包括冷却，配电，备用电源和机架设计的所有方面）匹配时，功率节约增长到38％，成本节约24％，而相应的电源使用效率（PUE）≈1.07。
参考：
1. Eitan Frachtenberg, Ali Heydari, Harry Li, Amir Michael, Jacob Na, Avery Nisbet, Pierluigi Sarti, Facebook. High-Efﬁciency Server Design, 2011

译自：
http://www.mentor.com/products/mechanical/engineering-edge/volume3/issue1/facebook-data-center-server-design

本文版权属于研发埠（www.yanfabu.com）所有，如需转载请注明出处！