计算节点共享集群硬件系统标准
为了最大限度地提高共享集群系统的管理效率,并为共享集群客户提供最高质量的计算服务,添加到WEXAC的计算节点必须满足最低标准。
有关我们WEXAC政策的详细信息,请参阅我们的WEXAC策略页面.
定义了四种不同的计算节点类型:CPU密集型、内存密集型、I/O密集型和GPU。以下是这些节点的标准,截至2013年2月:
- 惠普SL230s刀片
- 高质量,紧密集成的硬件,在热容量,功率,机架安装能力和部件使用
- 双6核2.3 GHz Intel Xeon E5-2630或更强大的cpu
- 每个核心至少2 gb内存,对于单个内存密集型节点,可以扩展到2 tb
- 每个节点支持500gb ~ 600gb的SATA或SAS硬盘
- 千兆以太网端口、万兆以太网端口或ib连接
- QDR InfiniBand互连MPI作业;以太网互连的标准集群作业
- 3年保修期
购买WEXAC节点,请联系瓦迪姆马尔金分机6078。
类型 | CPU | 内存 | 磁盘 | 价格 |
---|---|---|---|---|
一个CPU + I / O | 2 x英特尔E5-2630, 12核 | 32 GB | 2 × 300 SAS | 4400美元 |
BCPU | 2 x英特尔E5-2630, 12核 | 32 GB | 1 x 500 SATA | 3900美元 |
CGPU | 2 * Intel E5645 + 2 * Nvidia Tesla M2050(896核) | 48 GB | 2 × 300 SAS | 8100美元 |
Dmem 128 | 2 x英特尔E5-2630, 12核 | 128 GB | 2 × 300 SAS | 6950美元 |
Emem 48 | 2 x Intel E5645, 12核 | 48 GB | 2 × 300 SAS | 4500美元 |
上述标准将定期评估,并根据最佳价格/性能更新。
WEXAC由1400个核组成,这些核位于配置了相同操作系统和应用程序堆栈安装的节点上。
网络与互连
WEXAC节点具有InfiniBand互连和1/10千兆以太网网口,而其他节点具有千兆以太网或10千兆以太网网口。以太网端口专用于入站和出站WEXAC存储系统流量,并额外处理各种管理功能。ib协议用于节点间的mpi类型通信。使用这两个互连可以最大限度地提高集群内的性能。weexac是第一个同时使用QDR IB和10千兆以太网连接的魏茨曼研究所集群。
存储
高性能、高可用性系统为WEXAC提供存储。
存储目录结构如下所示:
- /home/lab/lab_name—成员实验室的父目录
- /home/lab/lab_name / user_name-成员实验室用户的主目录
- /应用程序常用应用程序,二进制文件定位
- / sharedDB-公共科学数据库(如NT/NR、PDB等)。用户可以要求将数据库添加到此位置。
我们的最大存储空间和推荐限制分别如下:
最大存储空间和推荐限制
函数 | 限制 | 笔记 |
---|---|---|
最大文件数 实验室成员 |
1亿年 | 建议您在作业结束时TAR文件,以减少实验室中的文件数量,以确保节省备份成本并提高存储性能 |
每个非成员实验室的最大文件数 | 2000万年 | 建议您在作业结束时TAR文件,以减少实验室中的文件数量,以确保节省备份成本并提高存储性能 |
建议每个目录最大文件数 | 500万年 | 文件数量过多会导致性能下降。建议在作业结束时TAR文件,避免超过此限制,并确保节省备份成本 |
建议的最大文件大小 | 50 GBs | |
建议每个目录的最大子目录数 | 100000年 | 子目录数量过多会导致性能下降 |
WEXAC上的计算节点
cn # | 类型 | 核 | GPU | 内存(GB) | 老板 |
---|---|---|---|---|---|
101 | IBM | 896个GPU核 | 特斯拉S2050 | 24 | 公共 |
102 - 103 | HP C型 | 896个GPU核 | 特斯拉S2050 | 48 | 公共 |
104 - 106 | HP D型 | 12 | 96 | 公共 | |
107 - 121 | HP B型 | 12 | 24 | 公共 | |
500 - 524 | HP B型 | 12 | 24 | 弗勒锡曼实验室 | |
200 - 238 | 富士通 | 8 | 16 | 4实验室 | |
070 - 072 | IBM | 12 | 72 | 柳叶刀实验室 | |
073 - 075 | 12 | 24 | 汉娜实验室 | ||
080 | 12 | 24 | 施赖伯实验室 | ||
081 | HP E型 | 12 | 48 | 施赖伯实验室 | |
090 - 091 | 8 | 32 | 陶菲克实验室 | ||
400 - 401 | 8 | 16 | 科伦实验室 | ||
600 | 8 | 16 | Pilpel实验室 | ||
610 | 8 | 36 | 索贝尔实验室 | ||
630 | 8 | 16 | EM单位 |