INGV选用PBS Professional 作为关键任务的作业调度和资源管理系统

2014-7-22 16:49| 发布者: xiongwu| 查看: 1232| 评论: 0|来自: Altair

摘要: 现在,INGV使用PBS Professional作为调度器和资源管理器管理两个HP集群,总共高达1280个CPU核,这些系统用于科研和意大利地震台网的数据处理。每天大约30个INGV研究人员将作业提交到集群中,他们主要来自于国家地震中心(CNT)以及地震和地壳构造物理部门,涵盖广泛的科学问题,涉及大量的数据分析和CPU密集型模拟和成像。

INGV选用PBS Professional 作为关键任务的作业调度和资源管理系统

左图:敏感性分析,用于识别地球内部现有技术无法解释震波图的区域;

右图:2009拉奎拉地震模拟峰值地面速度(PGV) 图,评估地面运动对人文建筑影响的关键指标。

INGV选用PBS Professional 作为关键任务的作业调度和资源管理系统

项目介绍
Istituto Nazionale di Geofisica e Vulcanologia (INGV)由多个意大利科研机构于1999年合并而成,其任务是通过先进的设备网络观察、监测和了解地理现象和预测整个意大利国土的地震和火山活动情况。 作为自然灾害评估的专业机构,INGV支持全国、欧洲乃至全球范围关键的风险防范项目,包括由火山爆发引起的空中交通突发事件的预报和管理,石油泄漏所造成的污染影响的预防,以及大气上层中太阳风暴等相关干扰的预报。在这个极具挑战和竞争的背景下,INGV还为意大利政府在评估和防范风险方面提供建议,例如:建议为地震区的新建和改造建筑物制定和更新所需参数。

挑战
当地震危机发生时,INGV的科学家必须进行高优先级的分析,以支持政府的官方沟通。因此,INGV HPC基础架构的一个关键要求是它必须有效地支持这些高优先级的任务。HPC系统经理Daniele Melini说:“在情急事件中,我们政府依赖于我们,反应时间对于公共安全至关重要。因此,我们需要一个值得依赖、高效的HPC基础架构以获取快速而精确的计算结果。”而且,由于INGV的研究计算多种多样,从技术角度来看,INGV的计算机必须能够轻松地处理异构工作负载。例如,大规模并行作业和单程序多数据处理任务。“我们的作业调度管理器必须具备同时处理多种任务的能力,以及平衡我们的用户和应用程序的不同要求。”Melini如此解释。此外,由于INGV的计算资源是由专业科研人员来运行,高效的远程技术支持就显得至关重要。“我们不能因为等待供应商技术支持响应而延缓工作,更糟的是因不明真相的答复或较少参与的支持人员而偏离正轨。我们需要最高级别的系统支持,以提供INGV所著称的高品质的结果。”因此,当他们采购新的HPC集群系统时,INGV需要工作负载管理系统的供应商满足以下要求:
可依赖的高度可靠的产品
简单易用,便于管理
一流的全球客户支持
“PBS Professional的价值在于它是技术品质与出色支持的结合,有了PBS Professional, 我们就有了可依赖的企业级作业调度器,而不用增加IT人员的成本。开源的作业调度器无法实现这样的价值。”Daniele Melini,HPC系统经理, INGV

解决方案

INGV选用PBS Professional 作为关键任务的作业调度和资源管理系统

左图:HP刀片系统,满足因需而变的技术架构;

右图:2009年拉奎拉地震波场模拟快照,突出了沉积盆地的影响,它的存在可导致地震动放大效应。

在为他们新的HP集群系统评估工作负载管理系统时,在选定Altair PBS Professional®之前,INGV考察了多个选项,包括开源版的Oracle Grid Engine

“我们试了试Grid Engine,发现很难安装和和配置。” Melini说,“所以我们决定尝试PBS Professional。”此外,INGV还有几个用开源的Torque调度器的小系统,但INGV决定为他们的新系统采用一个商业级的工作负载管理产品。

“安装相当简单——第一次安装由Altair技术支持在短短几天内用远程完成。”Melini说。随后INGV的人员完成升级,配置仅用了数小时。

现在,INGV使用PBS Professional作为调度器和资源管理器管理两个HP集群,总共高达1280CPU核,这些系统用于科研和意大利地震台网的数据处理。每天大约30INGV研究人员将作业提交到集群中,他们主要来自于国家地震中心(CNT)以及地震和地壳构造物理部门,涵盖广泛的科学问题,涉及大量的数据分析和CPU密集型模拟和成像。

INGVHPC硬件是HP刀片系统,有ProLiant BL465cBL460c Gen8刀片,涵盖了2个集群的112个服务器刀片。PBS ProfessionalHPInsight集群管理工具部署于DL385 G7DL380 Gen8的前端节点上,另外还有两个交互式节点,DL580 G7DL980 G7,用于运行后处理和可视化任务。集群存储是基于两个P2000构建的并行文件系统,由5DL385 G7来管理。

结论

INGV证实了采用PBS Professional作为他们集群负载管理器的优点:

Ø  高度可靠:INGV可准时得到他们的关键结果。

Ø  灵活机动:PBS Professional可轻松应对INGV的多种计算需求。

Ø  简单易用:PBS Professional容易上手,便于使用。

Ø  出色支持:INGV员工无需专业知识即可管理整个系统。

“另外,因为我们的系统用于范围广泛的应用程序,每个都有不同的技术要求,调度器在优先级策略方面具有高度灵活性是非常重要的。”Melini说,“PBS Professional在这方面的是非常灵活的。我们可以定义反映我们用户组织异构性的复杂的用户策略和优先级。”

下一步会怎么做? INGV计划探索PBS Professional的其他功能。Melini说,“我们对于部署‘绿色配置’功能非常感兴趣,即关闭未使用的集群节点以节省能源。”

“我们也尝试了PBS Analytics™,发现它非常有用,可了解我们基础架构的使用情况,以及该在哪些方面进行硬件升级。”Melini说,“我们期待着探索PBS Works的其他产品,这一定会增加我们工作的成功率。”

关于Altair公司

Altair公司是世界领先的工程设计技术的开发者之一,也是一家具有全球深厚工程技术底蕴的优秀CAE工程公司。Altair 公司拥有多元化的业务主线,其技术涵盖高端CAE仿真和优化技术、数据管理及流程自动化、高性能计算与网络计算技术,同时具备一流的产品设计、流程定制、二次开发等咨询服务能力。Altair目前为私人所有,总部设在美国底特律,在全球拥有1800多位员工,分支机构遍及美洲、欧洲及亚太地区。凭借其在产品设计、先进CAE工程软件开发和网格计算技术等方面拥有27年的经验,Altair不断为各个行业的客户创造竞争优势。http://www.altair.com.cn



鲜花

握手

雷人

路过

鸡蛋

最新评论

360网站安全检测平台