在全球氣候變暖的大背景下，極端天氣氣候事件的頻發，將給人民群眾的生命和財產安全帶來威脅。為了應對氣候變化帶來的諸多挑戰，各國氣象部門紛紛加強了綜合探測系統的建設。作為綜合探測系統的一支重要力量，我國氣象衛星風云一號、二號、三號系列，猶如太空的“千里眼”，24小時監測著地球上的“風云變化”。

　　系統資源調動自動化是關鍵

　　從衛星上接收各種氣象遙感數據到輸出各種大氣、海洋、陸地圖像和定量應用產品，是一個非常復雜的過程，需要多臺服務器協同工作。要讓多臺服務器自動、有條有理、像流水線一樣井然有序地處理和運行，尤其是在多衛星條件下，作業流程或作業序列的啟動和運行顯得更加復雜多變，單靠人工干預，基本上無法完成所需要的作業調度任務，必須依靠自動化的負載調度系統，自動分配計算資源，實現資源調度的自動化。

　　根據風云氣象衛星數據處理的特點，國家衛星氣象中心認為負載調度子系統應該具備以下特點：實現衛星數據處理總體流程調度、控制、管理。由于衛星數據處理是以實時運行的作業為序列，負載調度子系統首先需要跳出單個作業的處理和控制，確保衛星數據處理流程具有正確的調度序列和運行序列，同時也要確保流程運行的可控性、可見性和可管理性。

　　實現單個作業在多處理器、多機環境的有效和有序調度。衛星數據處理具有數據量大、運算量大等高性能計算的顯著特點，需要相當高的計算能力。負載調度子系統必須能根據當前計算機系統的運行情況以及需要運行的作業的情況，根據事先定義好的調度策略，迅速高效地調度相應作業的運行。

　　通過對現有計算機系統使用效能和可擴展性分析，為業務系統的擴充以及現有系統的運行狀況的改進提供參考依據。

　　Platform解決方案來助力

　　為實現對風云氣象衛星數據處理的調度、監控、運行和管理，國家衛星氣象中心與業界公認的分布式資源管理領域的領袖公司Platform合作，構建基于Platform公司作業調度解決方案的負載調度子系統，并將其作為了衛星氣象中心運作的基礎支撐工具。國家衛星氣象中心認為，Platform公司是集群系統管理軟件領域的領導者，其LSF系列負載調度軟件在國內外具有眾多多的用戶案例，在國防、教育、航空、航天、氣象、電子等領域得到了廣泛的應用。的用戶案的用戶案例，在國防、教育、航空、航天、氣象、電子等領域得到了廣泛的應用。

　　Platform作業調度解決方案包括Platform Process Manager、Platform LSF兩個模塊。

　　Platform Process Manager是一套專業的工作流程管理系統，提供可視化的工作流程創建、編輯、運行和監控，極大地簡化了大型復雜工作流程的定義、運行和管理問題。Platform Process Manager能提供衛星數據處理流程的定義、執行、實時監視和控制。用戶通過Process Manager的客戶端工具或用戶定制的工具，創建、觸發和管理衛星數據的處理流程。Process Manager后端的流程處理服務器響應來自客戶端的請求，根據流程的觸發條件啟動流程，根據用戶的指令控制流程運行，同時維護流程中所有作業的相互依賴關系。當流程中作業的運行條件滿足時，Process Manager的服務將實際作業提交到LSF 管理的機群中。

　　Platform LSF 是一套專門針對氣象、工程等高性能計算領域推出的機群管理系統，支持異構的、分布式Uinx/Linux，Windows計算環境，為用戶提供可靠的機群管理、負載共享、復雜的作業管理及調度功能和大規模并行計算的能力。LSF 既可單獨使用，也可以用作Platform Process Manager的資源管理和調度層，根據Process Manager的指令運行用戶流程中的作業。利用Platform LSF 可以實現單個作業在多處理器、多機環境的有效和有序調度。此外，Platform LSF 還提供了可靠的機群管理、負載共享、復雜的作業管理及調度功能。

　　衛星數據處理自動化成現實

　　國家衛星氣象中心利用Platform Process Manager實現了多衛星數據處理的自動化，以及復雜流程和子流程的實時控制和管理，同時還利用Platform LSF實現了計算資源的共享和負載平衡，確保了計算資源的高可靠和高可用，提升了作業調度的效率和計算資源利用的效率。

　　實現基于故障的容錯與恢復。Platform LSF 支持外部資源的定義，從而可與關鍵業務的高可用系統無縫集成，支持關鍵業務的高可用。Platform LSF 及Platform Process Manager支持主服務器的容錯功能，在主服務器故障時，可自動切換到備份服務器，并繼續調度作業的自動運行。在此其間，業務系統的運行不受影響。Platform LSF 及Platform Process Manager支持衛星處理流程的故障自動處理與恢復。在流程中的某個作業運行失敗后，可以手動或自動地重新運行該作業，并讓該流程繼續運行。當某個計算節點故障或宕機時，其上運行的作業能自動恢復在其它節點上運行，實現多機切換后流程接續、自動恢復等功能。

　　實現“搶占式”的調度策略。Platform 支持“搶占式” 調度策略。在資源緊張時，高優先級作業可以搶占正在運行的低優先級作業使用的資源并啟動運行。低優先級作業將被掛起，直到有可用的資源時再繼續運行。Platform LSF支持可定制的“搶占” 策略，管理人員可以根據任務的優先級以及系統的運行情況，定制相應的調度策略，確保重要的作業優先執行，同時又不犧牲已經運行作業的當前結果。Platform LSF根據系統負載情況和作業屬性動態地調度資源，保證高時效和高精度作業的按時完成，并保證系統資源的充分使用。

　　實現基于流程的自動調度和處理。衛星數據處理不僅數據量大、處理流程復雜，需要根據時間、事件的不同觸發不同的流程完成不同的任務；同時還具有時效性，每一批數據都必須在規定時間內完成，因此從某種意義上說，它還是一個實時系統。Platform Process Manager提供了可視化的工作流程創建、編輯、運行和監控，極大地簡化大型復雜工作流程的定義、運行和管理問題。同時Platform Process Manager還可以根據時間、事件以及作業的不同狀態對作業流程或子流程進行觸發，從而可以根據衛星數據處理的不同情況進行不同的業務處理，實現生產流程處理的自動化。另一方面，Platform Process Manager 和Platform LSF的有機結合，可以充分利用Platform Process Manager提供的復雜流程定義、流程在線監視和控制功能，同時利用Platform LSF 提供的靈活多樣的作業自動調度和處理，根據系統資源情況和作業優先級，動態地調度作業運行，確保衛星數據處理流程的實時、高效。

　　實現基于時間窗的機器分組和多隊列管理。該衛星數據處理平臺可用于監測多個衛星，要求能夠根據監測衛星的運行情況，提供基于時間窗的機器分組和多隊列管理，從而可以根據系統運行需要，合理地調配資源。Platform LSF提供了基于時間窗的機器分組和多隊列管理，可以根據系統運行的需要，比如可以根據監測衛星的數量、衛星數據處理的不同階段配置不同的隊列資源和機器分組，從而實現動態地進行系統配置，優化系統資源的使用，確保衛星數據處理的實時、高效。

　　實現基于數據分布的調度策略。衛星數據處理的數據量非常大，因此需要將不同衛星的數據分布在不同的機器上，在進行作業調度時，就需要根據不同機器上的數據分布情況進行相應的調度。Platform LSF支持機器分組，可以根據數據的分布動態地調度作業的運行，確保運行作業的分布與數據分布相一致。

　　實現全面的負載監控。Platform LSF能收集每臺機器各種負載信息，并支持負載信息擴展，可以根據系統總體情況和設計需要，動態地設置系統資源情況，包括磁盤訪問、主機情況、軟件的許可證，用戶數等。

　　中國氣象局國家衛星氣象中心副總設計師施進明表示，倘若離開了Platform LSF基于網格技術的自動化作業調度系統，是難以做到有條不紊地處理大量的衛星氣象數據、讓計算中心的計算資源利用率達到85%以上的。Platform LSF幫助國家衛星氣象中心實現了計算資源的共享和負載平衡，確保了計算資源的高可靠和高可用。

　　關于Platform Computing

　　Platform Computing是全球領先的集群、網格、云中間件和云管理平臺提供商，幫助客戶以經濟、高效的方式管理、分配和使用計算資源，為企業的業務創新和發展提供全面支持。目前，Platform Computing的集群、網格和云計算解決方案已經廣泛用于制造、能源、金融、電信、航空航天等領域。了解詳情，請訪問http://www.platform.com.cn.