计算节点共享集群硬件系统标准
为了最大限度地提高共享集群系统的管理效率，并为共享集群客户提供最高质量的计算服务，添加到WEXAC的计算节点必须满足最低标准。
有关我们WEXAC政策的详细信息，请参阅我们的WEXAC策略页面．
定义了四种不同的计算节点类型:CPU密集型、内存密集型、I/O密集型和GPU。以下是这些节点的标准，截至2013年2月:
- 惠普SL230s刀片
- 高质量，紧密集成的硬件，在热容量，功率，机架安装能力和部件使用
- 双6核2.3 GHz Intel Xeon E5-2630或更强大的cpu
- 每个核心至少2 gb内存，对于单个内存密集型节点，可以扩展到2 tb
- 每个节点支持500gb ~ 600gb的SATA或SAS硬盘
- 千兆以太网端口、万兆以太网端口或ib连接
- QDR InfiniBand互连MPI作业;以太网互连的标准集群作业
- 3年保修期
购买WEXAC节点，请联系瓦迪姆马尔金分机6078。
| 类型 | CPU | 内存 | 磁盘 | 价格 |
|---|---|---|---|---|
| 一个CPU + I / O | 2 x英特尔E5-2630, 12核 | 32 GB | 2 × 300 SAS | 4400美元 |
| BCPU | 2 x英特尔E5-2630, 12核 | 32 GB | 1 x 500 SATA | 3900美元 |
| CGPU | 2 * Intel E5645 + 2 * Nvidia Tesla M2050(896核) | 48 GB | 2 × 300 SAS | 8100美元 |
| Dmem 128 | 2 x英特尔E5-2630, 12核 | 128 GB | 2 × 300 SAS | 6950美元 |
| Emem 48 | 2 x Intel E5645, 12核 | 48 GB | 2 × 300 SAS | 4500美元 |
上述标准将定期评估，并根据最佳价格/性能更新。
WEXAC由1400个核组成，这些核位于配置了相同操作系统和应用程序堆栈安装的节点上。
网络与互连
WEXAC节点具有InfiniBand互连和1/10千兆以太网网口，而其他节点具有千兆以太网或10千兆以太网网口。以太网端口专用于入站和出站WEXAC存储系统流量，并额外处理各种管理功能。ib协议用于节点间的mpi类型通信。使用这两个互连可以最大限度地提高集群内的性能。weexac是第一个同时使用QDR IB和10千兆以太网连接的魏茨曼研究所集群。
存储
高性能、高可用性系统为WEXAC提供存储。
存储目录结构如下所示:
- /home/lab/lab_name—成员实验室的父目录
- /home/lab/lab_name / user_name-成员实验室用户的主目录
- /应用程序常用应用程序，二进制文件定位
- / sharedDB-公共科学数据库(如NT/NR、PDB等)。用户可以要求将数据库添加到此位置。
我们的最大存储空间和推荐限制分别如下:
最大存储空间和推荐限制
| 函数 | 限制 | 笔记 |
|---|---|---|
| 最大文件数 实验室成员 |
1亿年 | 建议您在作业结束时TAR文件，以减少实验室中的文件数量，以确保节省备份成本并提高存储性能 |
| 每个非成员实验室的最大文件数 | 2000万年 | 建议您在作业结束时TAR文件，以减少实验室中的文件数量，以确保节省备份成本并提高存储性能 |
| 建议每个目录最大文件数 | 500万年 | 文件数量过多会导致性能下降。建议在作业结束时TAR文件，避免超过此限制，并确保节省备份成本 |
| 建议的最大文件大小 | 50 GBs | |
| 建议每个目录的最大子目录数 | 100000年 | 子目录数量过多会导致性能下降 |
WEXAC上的计算节点
| cn # | 类型 | 核 | GPU | 内存(GB) | 老板 |
|---|---|---|---|---|---|
| 101 | IBM | 896个GPU核 | 特斯拉S2050 | 24 | 公共 |
| 102 - 103 | HP C型 | 896个GPU核 | 特斯拉S2050 | 48 | 公共 |
| 104 - 106 | HP D型 | 12 | 96 | 公共 | |
| 107 - 121 | HP B型 | 12 | 24 | 公共 | |
| 500 - 524 | HP B型 | 12 | 24 | 弗勒锡曼实验室 | |
| 200 - 238 | 富士通 | 8 | 16 | 4实验室 | |
| 070 - 072 | IBM | 12 | 72 | 柳叶刀实验室 | |
| 073 - 075 | 12 | 24 | 汉娜实验室 | ||
| 080 | 12 | 24 | 施赖伯实验室 | ||
| 081 | HP E型 | 12 | 48 | 施赖伯实验室 | |
| 090 - 091 | 8 | 32 | 陶菲克实验室 | ||
| 400 - 401 | 8 | 16 | 科伦实验室 | ||
| 600 | 8 | 16 | Pilpel实验室 | ||
| 610 | 8 | 36 | 索贝尔实验室 | ||
| 630 | 8 | 16 | EM单位 |