產(chǎn)品--自主研發(fā)
應(yīng)對(duì)大量計(jì)算，提高計(jì)算性能，降低計(jì)算能耗，簡(jiǎn)便部署，統(tǒng)一管理
RDFS分布式文件系統(tǒng)
產(chǎn)品概述
RDFS分布式文件系統(tǒng)，為計(jì)算程序提供數(shù)據(jù)共享空間、高性能IO接口和海量文件存儲(chǔ)。RDFS分布式文件系統(tǒng)為高性能計(jì)算領(lǐng)域及其他領(lǐng)域的多種應(yīng)用提供高性能的存儲(chǔ)服務(wù)。
核心特點(diǎn)
|
|
|
|---|---|---|
| 高性能 | 橫向擴(kuò)展 | 智能監(jiān)控 |
| GB/s-TB/s 的IO；1000+用戶大規(guī)模并發(fā)訪問(wèn) | IO性能隨硬件數(shù)量增加達(dá)到線性提升 | I/O性能監(jiān)控；進(jìn)程IO特征收集；I/O趨勢(shì)分析 |
業(yè)務(wù)挑戰(zhàn)
Q:如何提高海量數(shù)據(jù)的讀寫效率和線性擴(kuò)展IO性能？
A:系統(tǒng)底層的Lustre文件系統(tǒng)支持讀寫性能的在線橫向擴(kuò)展，通過(guò)橫向累加服務(wù)器和存儲(chǔ)的形式，可以獲得數(shù)10GB/s的IO讀寫性能。同時(shí)，通過(guò)系統(tǒng)配置頁(yè)面的IO監(jiān)控分析和參數(shù)調(diào)節(jié)，可以針對(duì)具體的應(yīng)用，進(jìn)一步提高讀寫效率。
Q: 如何解決數(shù)據(jù)延時(shí)？
A: 系統(tǒng)支持多種底層物理網(wǎng)絡(luò)架構(gòu)，在低延時(shí)網(wǎng)絡(luò)如Infiniband上，結(jié)合Lustre文件系統(tǒng)對(duì)RDMA的支持，用戶能夠獲得更低的數(shù)據(jù)訪問(wèn)延時(shí)。
Q: 如何對(duì)文件進(jìn)行統(tǒng)一管理？
A: 系統(tǒng)提供全局唯一的名字空間，用戶可以像使用本地文件系統(tǒng)一樣，使用和管理一個(gè)PB級(jí)的存儲(chǔ)空間。
Q: 如何高效、合理的分配存儲(chǔ)空間？
A: 系統(tǒng)支持用戶和用戶組配額設(shè)置和管理，支持針對(duì)不同硬件的磁盤池配置和分配，同時(shí)，系統(tǒng)還可以對(duì)不同設(shè)備上數(shù)據(jù)分配的權(quán)重做手工設(shè)置，并提供存儲(chǔ)空間使用的水位報(bào)警。
Q: 如何高效、合理的分配存儲(chǔ)空間？
A: 系統(tǒng)支持用戶和用戶組配額設(shè)置和管理，支持針對(duì)不同硬件的磁盤池配置和分配，同時(shí)，系統(tǒng)還可以對(duì)不同設(shè)備上數(shù)據(jù)分配的權(quán)重做手工設(shè)置，并提供存儲(chǔ)空間使用的水位報(bào)警。
Q: 如何實(shí)現(xiàn)集群系統(tǒng)中的數(shù)據(jù)共享？
A: 系統(tǒng)提供全局唯一的名字空間，用戶可以在集群的任意一臺(tái)節(jié)點(diǎn)看到相同的文件系統(tǒng)映像。同時(shí)系統(tǒng)完全兼容POSIX語(yǔ)義，用戶可以對(duì)文件部分加鎖，保證多臺(tái)節(jié)點(diǎn)間數(shù)據(jù)訪問(wèn)的一致性。
Q: 如何實(shí)現(xiàn)批量、自動(dòng)化的存儲(chǔ)系統(tǒng)管理和監(jiān)控？
A: 通過(guò)系統(tǒng)的圖形化和命令行客戶端，用戶可以方便的完成批量系統(tǒng)安裝、啟動(dòng)、關(guān)閉、參數(shù)配置、日志分析、用戶配額設(shè)置、系統(tǒng)性能監(jiān)控、進(jìn)程IO監(jiān)控等任務(wù)。