好吊视频一区二区三区-国产精品V欧美精品V日韩精品-老司机亚洲精品影院-国产精品视频免费播放

物聯傳媒 旗下網站
登錄 注冊
RFID世界網 >  新聞中心  >  物聯網新聞  >  正文

華為大數據存儲實現統一管理40PB文件系統

作者:RFID世界網收錄
來源:比特網
日期:2014-05-13 14:37:58
摘要:華為近日宣布旗下大數據存儲OceanStor 9000經過全面的驗證可實現目前業界最大40PB文件系統,相當于4萬塊1TB硬盤的超大容量空間可同時被一個文件系統進行目錄管理,這是OceanStor 9000大數據存儲繼獲得500萬OPS性能冠軍之后又一次領先業界的創舉。

  華為近日宣布旗下大數據存儲OceanStor 9000經過全面的驗證可實現目前業界最大40PB文件系統,相當于4萬塊1TB硬盤的超大容量空間可同時被一個文件系統進行目錄管理,這是OceanStor 9000大數據存儲繼獲得500萬OPS性能冠軍之后又一次領先業界的創舉。此次驗證同時得到了英特爾、希捷以及AgigA Tech等業內一流合作伙伴的大力支持。

  隨著企業的發展以及大數據時代的到來,許多行業為了在多個獨立的應用和數據孤島中挖掘出更大的數據價值,希望將數據融合起來共享使用,因此對單一文件系統的容量提出了非常高的要求。比如,中國的智慧城市建設已經大步邁進8Mbps碼流的高清時代, 視頻存儲已經達到10~20PB存儲容量;互聯網新媒體的數據量,也從TB級進入幾十PB級集中存儲時代;目前我國正在推動建設的國家級基因庫將建設一個能夠容納50PB容量基因數據存儲和分析倉庫。由此可見,在大數據時代背景下,行業客戶對于PB級統一命名空間的高性能存儲已經呈現出旺盛的需求態勢。華為OceanStor 9000大數據存儲系統40PB單一命名空間的實證正是在這樣的背景下,以客戶實際需求為導向的又一次扛鼎之作。

  40PB超大容量的實現得益于多項創新技術的支撐:首先,華為自主研發的分布式文件系統WushanFS,采用創新的元數據管理方式,使得系統的性能、可靠性以及擴展能力三個方面可以并駕齊驅,真正實現性能、容量線性增長,數據可靠存儲。其次,動態哈希表技術、目錄動態子樹分裂技術、全局一致性緩存、RDMA over TCP等互聯網技術的引入,為OceanStor 9000大規模橫向擴展后性能線性增長提供了技術保證。另外,數據隔離技術將一個大規模的集群規劃為多個中等規模存儲空間,有效的解決了大數據存儲設備大規模擴展后故障域過大,故障概率高的可靠性問題。集群任務拆分、并發、合并的MapReduce設計思想的引入,也最大限度的降低了大規模集群管理的系統壓力。

  在40PB大規模集群的驗證過程中,OceanStor 9000展現了其優越的易管理性和擴展性,288節點集群部署在60分鐘內完成,單節點擴容在1分鐘內完成,全過程圖形化界面操作,容量和性能線性擴展,最大可提供40PB容量,200GB/s帶寬。

  華為存儲產品線總裁范瑞琦表示:“OceanStor 9000大數據存儲系統的40PB超大容量的實現,能夠真正應對大數據時代的數據量沖擊,可以更好的幫助行業客戶實現業務增長,例如可以支持媒體行業數千高清碼流的電視節目同時在線制作,滿足以央視為代表的全球性電視臺的所有節目制作需求;能夠支持上萬路1080p攝像頭實時錄像和并行分析,滿足像上海、廣州、成都等大中型智慧城市全網視頻監控需求。”

  英特爾通訊和存儲基礎設施事業部存儲部門總經理Bev Clair對此次合作評價到:“大數據時代的到來為我們提供了變革性的機遇,提供幫助我們解決歷史性商業問題的機遇。英特爾和華為強強聯合,通過研發大數據項目的技術和工具,不斷滿足客戶的需求。英特爾和華為已經成功地完成對40PB的大數據存儲工作負載的分析,為應用方面的存儲解決方案的商業部署提供了參考。我們現在已經具備了打破當今容量瓶頸且滿足客戶需求的能力。我們會加快產品上市的時間,提供靈活性強、性價比高的解決方案,滿足日益增長的存儲需求。”

  希捷科技全球副總裁暨中國區總裁孫丹女士表示:“大數據時代數據的快速增長,給客戶的存儲需求帶來極大的挑戰。從單點來看,客戶需要更大容量更穩定的存儲介質;從存儲系統整體來看,超大容量的單一文件系統對客戶將具有更實際的應用價值,和更廣泛的應用場景。此次華為與多家合作伙伴聯合驗證40PB單一文件系統正是在這樣的背景下開展的。希捷愿意與華為共同聯手,推動大數據存儲技術的研發創新和方案推廣。”

  AgigA Tech首席執行官Ron Sartore先生如此評價:“在與華為將近三年的合作中,AgigA Tech與華為在引入NVDIMM技術到華為服務器以及存儲產品的過程中保持了緊密的合作。在AgigA Tech成都研發中心對華為進行本地化技術支持的過程中,我們有幸第一時間看到華為海量存儲OceanStor 9000系列作為劃時代的產品所能提供的前所未有的I/O性能,這足以應對未來繁重的工作負荷。我們將繼續與華為保持緊密的合作伙伴關系,并對有機會將基于DDR4以及未來內存技術的NVDIMM產品更加廣泛應用于華為產品而感到興奮。”

人物訪談