支撐平臺(tái)
高性能計(jì)算機(jī)集群系統(tǒng)
儀器型號(hào)：曙光5000計(jì)算機(jī)集群
購(gòu)置年月：2011年9月
儀器簡(jiǎn)介：
曙光5000高效能計(jì)算機(jī)力求在體系結(jié)構(gòu)、多處理機(jī)芯片組、高性能節(jié)點(diǎn)操作系統(tǒng)、高可擴(kuò)展互連網(wǎng)絡(luò)、高吞吐率通信軟件、多線程分割全局地址空間編程模型及編譯器等核心技術(shù)上實(shí)現(xiàn)較大突破；并提供高效能計(jì)算機(jī)的高密度節(jié)點(diǎn)、可靠的系統(tǒng)結(jié)構(gòu)、虛擬化軟件、高效能海量存儲(chǔ)、并行文件系統(tǒng)、大規(guī)模系統(tǒng)的管理軟件、系統(tǒng)級(jí)魯棒性技術(shù)、超大規(guī)模并行算法等產(chǎn)品及技術(shù)，從而實(shí)現(xiàn)系統(tǒng)的高性能、可編程性、可移植性和穩(wěn)定性，并服務(wù)于未來超算中心能力計(jì)算（Capability Computing）和容量計(jì)算（Capacity Computing）兩類應(yīng)用。
曙光5000A基于高密服務(wù)器構(gòu)成的“超并行”體系結(jié)構(gòu)（Hyper Parallel Processing，簡(jiǎn)稱HPP）；
峰值運(yùn)算能力20Tflops CPU計(jì)算性能+50Tflops GPU計(jì)算性能，存儲(chǔ)能力96TB并行存儲(chǔ)系統(tǒng)+20TB備份存儲(chǔ)系統(tǒng)。
應(yīng)用范圍：
1. 高性能計(jì)算應(yīng)用范圍：先進(jìn)制造、電子信息、環(huán)境工程、裝備制造、通信工程、光電工程、土木工程、軟件工程、流體力學(xué)計(jì)算、生物工程和農(nóng)學(xué)、基因工程、電子信息工程、基因工程、生物醫(yī)學(xué)、車輛工程、化學(xué)工程、數(shù)字城市、數(shù)字工程、影視動(dòng)畫設(shè)計(jì)、三維動(dòng)畫、特效制作、游戲引擎開發(fā)等、天氣預(yù)報(bào)、氣象災(zāi)害評(píng)估、地理信息系統(tǒng)、海量遙感數(shù)據(jù)處理等；
高性能計(jì)算技術(shù)作為基礎(chǔ)工具，為各個(gè)學(xué)科行業(yè)以多種方式提供支持，提高生產(chǎn)力和創(chuàng)新能力，包括：
（1）基礎(chǔ)學(xué)科中深入的知識(shí)發(fā)現(xiàn)，問題規(guī)模的擴(kuò)大和求解精度的增加需要更高性能的計(jì)算資源。例如，計(jì)算流體力學(xué)、計(jì)算材料學(xué)、計(jì)算電磁學(xué)。
（2）多學(xué)科綜合設(shè)計(jì)領(lǐng)域中，大量的多部門協(xié)同計(jì)算需要構(gòu)建高性能的綜合平臺(tái)。例如，汽車設(shè)計(jì)、船舶設(shè)計(jì)。
（3）基于仿真的工程科學(xué)結(jié)合傳統(tǒng)工程領(lǐng)域的知識(shí)技術(shù)與高性能計(jì)算，提供經(jīng)濟(jì)高效地設(shè)計(jì)與實(shí)踐方法。例如，基于仿真的醫(yī)學(xué)實(shí)踐、數(shù)字城市模擬、核電、油田仿真工具、新材料開發(fā)、碰撞仿真技術(shù)、數(shù)字風(fēng)洞。
（4）高性能計(jì)算提升眾多行業(yè)服務(wù)、決策的時(shí)效性，提高經(jīng)濟(jì)效益。例如，實(shí)時(shí)天氣預(yù)報(bào)、城市交通控制、視頻點(diǎn)播服務(wù)、動(dòng)漫設(shè)計(jì)、網(wǎng)絡(luò)游戲、基于RFID的貨物跟蹤、智能電子商務(wù)。
（5）數(shù)據(jù)密集型應(yīng)用需要高性能數(shù)據(jù)處理，以應(yīng)對(duì)數(shù)據(jù)爆炸式增長(zhǎng)帶來的難題。例如，高能物理實(shí)驗(yàn)數(shù)據(jù)處理、遙感數(shù)據(jù)處理、商業(yè)智能、生物信息學(xué)、RFID數(shù)據(jù)挖掘、金融業(yè)分析抵押借貸、移動(dòng)電話流量分析。
2. 云計(jì)算應(yīng)用范圍：IAAS硬件虛擬化云服務(wù)、云災(zāi)備、云存儲(chǔ)、云安全、云融合等標(biāo)準(zhǔn)化云服務(wù)和研究。
技術(shù)參數(shù)：
|
曙光高性能計(jì)算集群系統(tǒng)配置清單 | ||||
|
序號(hào) |
名稱 |
技術(shù)規(guī)格 |
單位 |
數(shù)量 |
|
1 |
硬件部分 | |||
|
1.1 |
計(jì)算子系統(tǒng) | |||
|
1.1.1 |
高性能計(jì)算分區(qū) | |||
|
刀片平臺(tái) |
曙光TC3600 |
10U機(jī)架式刀片機(jī)箱，可以支持10個(gè)計(jì)算刀片； |
套 |
7 |
|
計(jì)算刀片 |
曙光CB65-G |
2*AMD Opteron 6172 12核處理器 (2.1GHz)； |
片 |
64 |
|
SMP胖節(jié)點(diǎn) |
曙光A840-G |
4*AMD Opteron 6172 12核處理器 (2.1GHz)； |
臺(tái) |
4 |
|
科學(xué)計(jì)算加速器(GPGPU) |
第一性原理計(jì)算 |
4U標(biāo)準(zhǔn)機(jī)架式設(shè)備 |
臺(tái) |
6 |
|
分子動(dòng)力學(xué)計(jì)算 |
4U標(biāo)準(zhǔn)機(jī)架式設(shè)備 |
臺(tái) |
10 | |
|
計(jì)算容錯(cuò)模塊 |
曙光CluSnap |
4U標(biāo)準(zhǔn)機(jī)架式設(shè)備； |
套 |
2 |
|
1.1.2 |
云服務(wù)分區(qū) | |||
|
云服務(wù)節(jié)點(diǎn) |
曙光A840-G |
4*AMD Opteron 6172 12核處理器 (2.1GHz)； |
臺(tái) |
8 |
|
1.1.3 |
協(xié)同設(shè)計(jì)分區(qū) | |||
|
工作站節(jié)點(diǎn) |
曙光W580I |
4U機(jī)塔互換式； |
臺(tái) |
10 |
|
1.1.4 |
安全隔離分區(qū) | |||
|
刀片平臺(tái) |
曙光TC3600 |
10U機(jī)架式刀片機(jī)箱，可以支持10個(gè)計(jì)算刀片； |
套 |
1 |
|
計(jì)算刀片 |
曙光CB65-G |
2*AMD Opteron 6172 12核處理器 (2.1GHz)； |
片 |
10 |
|
SMP胖節(jié)點(diǎn) |
曙光A840-G |
4*AMD Opteron 6172 12核處理器 (2.1GHz)； |
臺(tái) |
1 |
|
1.2 |
管理控制子系統(tǒng) | |||
|
集群管理/監(jiān)控節(jié)點(diǎn) |
曙光CB65-G |
2*AMD Opteron 6128 8核處理器 (2.0GHz)； |
臺(tái) |
1 |
|
IB子網(wǎng)管理節(jié)點(diǎn) |
曙光CB65-G |
2*AMD Opteron 6128 8核處理 (2.0GHz)； |
臺(tái) |
1 |
|
功能節(jié)點(diǎn)（NIS、NTP、FTP、作業(yè)調(diào)度、License） |
曙光CB65-G |
2*AMD Opteron 6128 8核處理器 (2.0GHz)； |
臺(tái) |
2 |
|
登錄節(jié)點(diǎn)（分區(qū)） |
曙光CB65-G |
2*AMD Opteron 6128 8核處理器 (2.0GHz)； |
臺(tái) |
2 |
|
登錄節(jié)點(diǎn)（分區(qū)） |
曙光A620r-G |
2U機(jī)架式； |
臺(tái) |
2 |
|
1.3 |
安全控制子系統(tǒng) | |||
|
安全認(rèn)證服務(wù)器 |
曙光SecServer750 |
5U機(jī)塔互換設(shè)計(jì),1顆Xeon E5506處理器,2G DDR3內(nèi)存,500G SATA 2硬盤,DVD-ROM,專用高性能加密卡,加密認(rèn)證軟件光盤,具有CA認(rèn)證、簽名、單機(jī)登錄等功能，與Nikey結(jié)合組成身份認(rèn)證解決方案，擁有國(guó)家密碼管理局認(rèn)證。 |
臺(tái) |
1 |
|
網(wǎng)絡(luò)審計(jì)設(shè)備 |
曙光NetFirm-A1600 |
6個(gè)千兆口，4個(gè)光口，2U機(jī)架，冗余電源，實(shí)現(xiàn)網(wǎng)絡(luò)內(nèi)容與行為審計(jì)，支持網(wǎng)站過濾、聊天監(jiān)控、郵件監(jiān)控、行為管理、日志審計(jì)等功能，并發(fā)連接數(shù)250萬，吞吐量4.5G，用戶數(shù)5000個(gè) |
臺(tái) |
1 |
|
網(wǎng)絡(luò)防火墻 |
龍芯防火墻C10TLFW-1000L |
并發(fā)連接數(shù)100萬，吞吐量1G，VPN隧道數(shù)600 |
臺(tái) |
2 |
|
智能密鑰 |
曙光NiKey100 |
曙光NiKey100智能密碼鑰匙，保證身份認(rèn)證安全。與曙光GridView、防火墻VPN配合使用。 |
個(gè) |
100 |
|
1.4 |
存儲(chǔ)子系統(tǒng) | |||
|
并行存儲(chǔ)系統(tǒng)Parastor（高性能計(jì)算分區(qū)） |
P100-MDC（數(shù)據(jù)索引控制器） |
高性能64位處理器，24GB Cache，1個(gè)管理網(wǎng)絡(luò)端口，2個(gè)1Gb接入端口，1個(gè)40Gb QDR IB高速接入端口，冗余電源，內(nèi)嵌高性能數(shù)據(jù)索引引擎，實(shí)現(xiàn)單一全局命名空間，管理多客戶端的并行訪問，支持雙機(jī)熱備 |
臺(tái) |
2 |
|
P100-IOM（數(shù)據(jù)存取模塊） |
高性能64位處理器，24GB Cache，1個(gè)管理網(wǎng)絡(luò)端口，2個(gè)1Gb存取端口，1個(gè)40Gb QDR IB高速存取端口，冗余電源，內(nèi)嵌高性能數(shù)據(jù)存取引擎，并行處理所有客戶端的數(shù)據(jù)訪問請(qǐng)求，自動(dòng)負(fù)載均衡，支持按需動(dòng)態(tài)擴(kuò)展，支持雙機(jī)熱備 |
臺(tái) |
4 | |
|
P100-SSU（智能存儲(chǔ)單元：64TB） |
高性能64位處理器，全冗余架構(gòu)，1個(gè)管理網(wǎng)絡(luò)端口，支持多個(gè)RAID5、RAID6等RAID級(jí)別，支持SAS、SATA、SSD三種存儲(chǔ)介質(zhì)，提供海量存儲(chǔ)空間，最大可擴(kuò)展到1EB，支持多副本容錯(cuò)，支持按需動(dòng)態(tài)在線擴(kuò)展；實(shí)際配置裸容量64TB企業(yè)級(jí)SATA硬盤作為大容量存儲(chǔ)空間 |
套 |
1 | |
|
管理軟件 |
內(nèi)嵌曙光并行存儲(chǔ)管理軟件系統(tǒng)，中文界面，圖形化顯示，實(shí)時(shí)監(jiān)控并行存儲(chǔ)系統(tǒng)各組成模塊的運(yùn)行狀態(tài)以及并行存儲(chǔ)系統(tǒng)的I/O性能 |
套 |
1 | |
|
并行存儲(chǔ)系統(tǒng)Parastor（安全隔離分區(qū)） |
P100-MDC（數(shù)據(jù)索引控制器） |
高性能64位處理器，24GB Cache，1個(gè)管理網(wǎng)絡(luò)端口，2個(gè)1Gb接入端口，1個(gè)40Gb QDR IB高速接入端口，冗余電源，內(nèi)嵌高性能數(shù)據(jù)索引引擎，實(shí)現(xiàn)單一全局命名空間，管理多客戶端的并行訪問，支持雙機(jī)熱備 |
臺(tái) |
2 |
|
P100-IOM（數(shù)據(jù)存取模塊） |
高性能64位處理器，24GB Cache，1個(gè)管理網(wǎng)絡(luò)端口，2個(gè)1Gb存取端口，1個(gè)40Gb QDR IB高速存取端口，冗余電源，內(nèi)嵌高性能數(shù)據(jù)存取引擎，并行處理所有客戶端的數(shù)據(jù)訪問請(qǐng)求，自動(dòng)負(fù)載均衡，支持按需動(dòng)態(tài)擴(kuò)展，支持雙機(jī)熱備 |
臺(tái) |
4 | |
|
P100-SSU（智能存儲(chǔ)單元：32TB） |
高性能64位處理器，全冗余架構(gòu)，1個(gè)管理網(wǎng)絡(luò)端口，支持多個(gè)RAID5、RAID6等RAID級(jí)別，支持SAS、SATA、SSD三種存儲(chǔ)介質(zhì)，提供海量存儲(chǔ)空間，最大可擴(kuò)展到1EB，支持多副本容錯(cuò)，支持按需動(dòng)態(tài)在線擴(kuò)展；實(shí)際配置裸容量32TB企業(yè)級(jí)SATA硬盤作為大容量存儲(chǔ)空間 |
套 |
1 | |
|
管理軟件 |
內(nèi)嵌曙光并行存儲(chǔ)管理軟件系統(tǒng)，中文界面，圖形化顯示，實(shí)時(shí)監(jiān)控并行存儲(chǔ)系統(tǒng)各組成模塊的運(yùn)行狀態(tài)以及并行存儲(chǔ)系統(tǒng)的I/O性能 |
套 |
1 | |
|
備份存儲(chǔ)系統(tǒng) |
曙光Dbstor備份存儲(chǔ)系統(tǒng) |
4U機(jī)架式，2個(gè)千兆網(wǎng)口，8GB緩存，20TB智能磁盤，含重復(fù)數(shù)據(jù)刪除，企業(yè)版?zhèn)浞蒈浖?/span>20個(gè)異構(gòu)客戶端，840W 2+1冗余電源 |
臺(tái) |
1 |
|
光纖交換機(jī) |
博科24端口光纖交換機(jī) |
BR-360-0008-A，24端口交換機(jī)，24端口激活，單電源（固定），含24個(gè)8Gb短波SFP，含Web tools、Zoning軟件授權(quán),支持級(jí)聯(lián)，1年原廠保修（非現(xiàn)場(chǎng)） |
臺(tái) |
1 |
|
1.5 |
網(wǎng)絡(luò)子系統(tǒng) | |||
|
高速計(jì)算網(wǎng)絡(luò) |
Mellanox MIS5100Q-3DNC QDR IB交換機(jī) |
標(biāo)配機(jī)箱：6U模塊化交換機(jī)機(jī)箱、最大可支持108口（6個(gè)頁板），機(jī)箱內(nèi)包括3個(gè)內(nèi)部交換模塊、3個(gè)自適應(yīng)110/220V AC電源模塊（2+1冗余）、管理模塊、熱插拔風(fēng)扇模塊、上架套件 |
臺(tái) |
1 |
|
Mellanox MIS5001QC 18口QSFP 40Gb/s IB頁板 |
18+18端口QSFP 40Gb/s IB頁板，芯片采用InfiniScale？ IV，用于MIS5XXX系列交換機(jī) |
臺(tái) |
6 | |
|
Infiniband線纜 |
FreePort QSFP(QDR) IB線纜(QDR 4X QSFP-QSFP IB線纜) |
根 |
108 | |
|
千兆以太網(wǎng)絡(luò) |
Force10 C150交換機(jī) |
配置96個(gè)10/100/1000baseT銅接口，包括：1個(gè)標(biāo)配機(jī)箱（含1個(gè)AC電源，1個(gè)路由交換模塊），2個(gè)48口1Gb RJ-45口以太網(wǎng)卡板，1份操作系統(tǒng) |
臺(tái) |
1 |
|
1.6 |
基礎(chǔ)架構(gòu)子系統(tǒng) | |||
|
曙光C1000散熱系統(tǒng) |
空調(diào)室內(nèi)機(jī) |
曙光云座C1000氟冷水平送風(fēng)空調(diào)室內(nèi)機(jī)模塊，最大顯冷量35KW，最大風(fēng)量7000m3/h，尺寸600*1200*2000mm |
臺(tái) |
3 |
|
空調(diào)室外機(jī) |
GMVL-Rm600W/D，制冷量60KW |
臺(tái) |
3 | |
|
除塵除濕一體機(jī) |
曙光云座除塵除濕一體機(jī)，除濕量5kg/h，過濾等級(jí)亞高效 |
臺(tái) |
1 | |
|
機(jī)柜 |
曙光云座C1000封閉機(jī)柜，尺寸600*1200*2000mm，有效空間42U，靜載1000kg |
臺(tái) |
12 | |
|
監(jiān)控系統(tǒng) |
C1000監(jiān)控采集器 |
空調(diào)及機(jī)柜內(nèi)部傳感器數(shù)據(jù)采集及上傳功能 |
套 |
1 |
|
C1000溫度探頭 |
測(cè)量機(jī)柜內(nèi)部溫度 | |||
|
C1000溫濕一體探測(cè)器 |
測(cè)量機(jī)柜排冷、熱通道內(nèi)微環(huán)境的溫度及濕度 | |||
|
C1000煙霧探測(cè)器 |
測(cè)量機(jī)柜冷、熱通道內(nèi)微環(huán)境的煙霧濃度，預(yù)防火災(zāi)隱患 | |||
|
C1000漏水探測(cè)器 |
測(cè)量空調(diào)室內(nèi)機(jī)下部冷凝水漏水，防止漏水水災(zāi)隱患 | |||
|
控制臺(tái) |
曙光集群控制臺(tái) |
1U手動(dòng)伸縮控制臺(tái)(曙光17”液晶顯示器、鼠標(biāo)、鍵盤、8口切換器等) |
套 |
1 |
|
視頻切換系統(tǒng) |
SKVM |
SKVM IV Over IP（包含鍵盤鼠標(biāo)），CIM節(jié)點(diǎn)控制模塊 |
套 |
1 |
|
2 |
軟件部分 | |||
|
操作系統(tǒng) |
Linux |
SuSE Linux 企業(yè)版 11.1 |
套 |
1 |
|
GPU編程環(huán)境 |
Nvidia GPU開發(fā)環(huán)境 |
nvcc C語言編譯器 |
套 |
1 |
|
用于GPU（圖形處理器）的CUDA FFT以及BLAS庫(kù) | ||||
|
分析器（Profiler） | ||||
|
用于GPU（圖形處理器）的gdb調(diào)試程序 | ||||
|
CUDA運(yùn)行時(shí)驅(qū)動(dòng)程序 | ||||
|
云管理系統(tǒng) |
曙光Cloudview |
曙光Cloudview云管理平臺(tái)，支持項(xiàng)目組織管理、計(jì)費(fèi)管理、虛擬化管理、云安全管理等功能 |
套 |
1 |
|
集群管理系統(tǒng) |
曙光GridView 2.5 |
GridView HPC版，支持系統(tǒng)部署、系統(tǒng)監(jiān)控、集群管理、數(shù)據(jù)報(bào)表、統(tǒng)一告警、作業(yè)調(diào)度 |
套 |
1 |
|
GridView應(yīng)用Portal，8個(gè)基本應(yīng)用Portal，支持Ansys、Lsdyna、Abaqus、Fluent、Vasp、Gaussian、NAMD、Gromacs；4個(gè)定制應(yīng)用Portal，根據(jù)用戶需求開發(fā) |
套 |
1 | ||
|
GridView集群節(jié)能模塊PowerConf 2.0 |
套 |
1 | ||
|
應(yīng)用開發(fā)環(huán)境 |
編譯器 |
GNU 編譯器，支持C/C++ Fortran77/90 |
套 |
1 |
|
數(shù)學(xué)庫(kù) |
BLAS、LAPACK、ScaLAPACK、FFTW |
套 |
1 | |
|
MPI并行環(huán)境 |
OpenMPI（支持Infiniband和以太網(wǎng)的MPI環(huán)境） |
套 |
1 | |
|
MPICH（支持千兆以太網(wǎng)的MPI環(huán)境） |
套 |
1 | ||
|
CPU峰值（Tflops） |
20.16 |
|
|
|
|
GPU峰值（Tflops） |
50.43 |
|
|
|
中國(guó)科學(xué)院重慶綠色智能技術(shù)研究院 版權(quán)所有京ICP備05002857號(hào)渝公網(wǎng)安備50010943035號(hào)
