實例應用 技術應用 智慧機場 解決方案

浦東機場信息系統智能化運控平臺的建設與應用

《上海浦東國際機場信息系統智能化運控平臺的建設與應用》

——上海國際機場股份有限公司

  一、信息系統的智能化運控平臺建設背景

  上海浦東國際機場于1999年建成通航,發展至2019年已擁有兩個航站樓、兩座衛星廳,旅客年吞吐量約7千萬人次。浦東機場新的樞紐戰略周期從“擴大規?!睘橹鬓D變為“打造品質”為主,上海國際機場股份有限公司(簡稱“公司”)作為大型復合國際樞紐的管理者和機場綜合服務的整合者,業務拓展將主要圍繞建設大型國際航空樞紐、提高運行效率、提升服務能級、推進管理改革等中心工作展開。隨著浦東機場樞紐建設穩步推進,公司對安全服務、運營效率、內部管理等各方面要求不斷提升。

  機電信息保障部隸屬于上海國際機場股份有限公司,是一家信息技術保障單位,其下系統運行中心主要負責包括離港、網絡、航顯、集成、門禁、監控、廣播等30多套信息系統的運維、管理工作,業務范圍包括前端設備維護、網絡設備及服務器等。如何確保系統、設備的高效運行是系統日常運維、管理的重中之重,實際工作中也遇到了亟待解決的難點問題。

  1、系統多,監控手段不統一

  業務系統各自獨立,管理工具分散,缺乏集中監控,給現場運維帶來一定的困擾:

 ?。?)各自系統都配備獨立的監控工具,分別安裝在業務系統終端上,較大量的監控終端導致資源浪費,同時也受到安裝空間的限制。

 ?。?)按照信息安全的要求,監控終端的操作系統和業務軟件均需要部署復雜密碼,且需定期更新,運維人員需要熟記大量賬戶、密碼。

 ?。?)各系統的監控界面直觀性可視化差,運維人員需要進行二次理解。

  2、監控未實現自動化,人工巡檢工作量大

  各系統前端設備及網絡設備遍布機場各個角落,300多臺重要服務器主要分布在兩個航站樓和各大主機房,數量大、點位散,并且隨著衛星廳建成投運和新信息系統的增設,各類設備不斷遞增中。而多數系統監控工具沒有自動告警機制,無法實時發出異常告警,需要人工巡檢發現問題。

  對網絡設備和服務器的巡檢,系統運行中心技術人員需要登錄到交換機或者服務器上查看各個性能指標,一個設備的人均檢查需要3分鐘左右;至2019年,交換機和服務器數量已超過2000臺,每次全面巡檢一次需要約6000分鐘(100小時)。

  機房日常檢查只能通過人工現場巡檢,對機房溫濕度數據、UPS、空調狀態、有無漏水等情況進行現場確認。每個弱電間至少需要耗時3分鐘,核心機房至少30分鐘,一天只能巡檢一次。且故障發生時,很有可能不在巡檢時間段內,從而導致機房、弱電間環境等問題無法及時發現和處理。

  3、業務系統復雜故障定位難

  信息系統的正常運行需要服務器相關硬件、數據庫、應用軟件、網絡設備、光纖線路等各個環節的支撐,一旦發生復雜故障,技術人員只能依靠運維經驗進行各個環節的排故,缺少便捷的工具輔助定位故障,技術人員對現場運維工作面臨以下壓力:

 ?。?)當終端設備比較分散、系統使用非高峰時間時,區域性重大故障不能短時間內做出判斷;

 ?。?)故障現象不能很直觀地反應出故障原因,需要進行一系列相關設備的排查。

  從歷史故障數據統計結果看,一個復雜故障準確定位時間大概需要30分鐘以上。根據2017年運行科室的案例故障定位及處理時間統計如下表所示:

6.jpg

上海浦東國際機場信息系統智能化運控平臺的建設與應用

  4、重大故障無預警機制,無法預判

  業務系統自動化展現效果不足,需要人工干預;技術人員缺乏預判故障風險能力,面對故障隱患主要依靠人工巡檢、定期維護的方式來進行預防,費時費力且無法實現實時主動監控。

  浦東機場航班密度越來越高,基本處于24小時不停航的狀態,面對用戶對業務系統的高可用性需求,被動等待故障發生,事后處理的運維模式勢必影響航班的正常運行。因此,浦東機場技術人員急需一套全面、成熟的預警機制來解決以上難點,從海量歷史故障數據中提取有價值的數據來產生合理的預警信息,降低故障率、提高系統可用性、延長業務連續性。

  面對以上痛點和運維難點,機電信息保障部以“智慧機場”理念為指導,信息化技術為基礎,于2016年開始籌備信息系統的智能化運控平臺建設,從而全面提升上海浦東機場各類信息系統整體運行服務質量水平。

  二、智能化運控平臺建設的實施過程

  智能化運控平臺依據浦東機場運維管理規范和實際管理需求,結合業內標準和最佳實踐,通過實施先進的運維和監控管理工具,建立以服務為導向的運維監控管理平臺,實現對機場IT網絡內的設備和系統進行集中監控與展現;實現系統運行維護的自動化與規范化;實現運維工作透明化、可視化、流程化、制度化和可控化;同時促進日常運維工作效率和水平的不斷提升,保證運行維護工作的高質、高效開展。

  整個IT運控平臺的具體建設實施過程如下:

  1、運控平臺的架構設計

  運維平臺采用分層、模塊化的設計技術,模塊與模塊、層與層之間松散耦合,各模塊可獨立部署、升級擴容,既相互獨立工作,也具備良好的耦合性,形成一體化監控系統。監控系統具備良好的開放性,支持快速融合第三方監控工具,實現資產配置與告警事件的自動抽取與集中展現等。監控系統具備良好的擴展性,管理范圍、管理深度和管理功能均支持平滑升級和擴展,滿足不斷發展的運維管理需求。監控平臺主要由資源配置管理、集中監控管理、綜合管理三大部分組成,實現“監、管、控”一體化的運維管理解決方案。系統總體架構如下圖1所示:

7.jpg

(圖1:平臺架構圖)

  集中監控管理部分主要對生產環境中IT基礎設施的集中監控管理,包括傳輸網絡設備、主機/虛擬機、存儲設備、安全設備、實戰應用系統等性能采集和事件處理,并利用監控可視化平臺提供大屏展現等能力,同時支持與第三方系統集成能力,比如云平臺的集成接入等。

  綜合管理部分包括統一運維門戶、報表平臺、全文檢索、權限管理及分級管理等主要模塊,以保證平臺不同角色的運維人員可以通過瀏覽器訪問到自身職責對應的功能和視圖,是信息的集中呈現窗口和日常工作平臺。

  資源配置管理部分將運維監控和軟件、硬件基礎信息有效結合,將分散的視頻資源、網絡資源、主機資源、虛擬機資源、數據庫資源、中間件資源、存儲資源、業務系統等整合在一起,通過關聯將資產配置信息豐富化。并且能夠很好的適應云計算、虛擬化技術的應用,能夠快速適應虛擬化基礎架構的變化,能夠從數據建模、數據收集與維護和數據分析應用三個方面實現對資產和配置數據的管理。

  運維平臺主要包括3大類數據,告警監控數據、性能監控數據、資產配置數據,通過性能管理庫與資產管理庫的數據交互,經分析處理后形成可供使用與展現的標準數據、報表抽取數據和流程數據。數據經過標準化處理后,將分別提供給運維服務流程作為流程運轉的關鍵數據,提供給集中展現功能進行直觀、動態的信息展現。

  另外,開發了相對應的基于安卓和IOS操作系統的移動端軟件,能夠實現移動端的相關業務功能。

  2、業務功能的實現

 ?。?)數據一體化

  智能化運控平臺實現了對網絡設備、服務器應用、云平臺以及機房環境監控的綜合集中監控,不再需要通過各自獨立的監控工具檢查系統、設備的性能和狀態,提高了運維效率。

  ——網絡監控管理功能模塊主要包括網絡故障監控模塊、網絡性能監控模塊、網絡拓撲管理模塊、網絡配置管理模塊、網絡安全管理模塊等。

  ——服務器資源監控主要包含除基礎網絡之外的服務器相關資源,包括主機、數據庫、中間件、通用服務等,并能從業務角度出發,將上述分散的資源進行邏輯組合,構建業務邏輯模型,實現業務層面監控。

  ——集成接入云平臺,實現對云平臺虛擬機性能狀態、網絡狀態等各項資源的實時監控。

  ——完成與原有機房監控管理系統的集成建設,內容包含:機房環境監控系統的機房設備設施及監控資源的基本信息;機房環境監控系統的機房設備設施運行狀態信息;機房環境監控系統的機房設備設施運行監控指標信息;機房環境監控系統的故障告警信息等。

 ?。?)信息可視化

  IT運控平臺通過視圖的方式呈現,包括基礎動環、網絡架構、服務器設備、云平臺、業務服務等方面的信息,通過資源分組組件、統計分析數據、運行評估數據的形式在同一界面全屏顯示,監控內容和數據資源支持以3D空間視圖的方式呈現,支持通過動態動畫交互呈現,并可通過第三方分屏工具投放到監控大屏幕上展示。如下圖所示,為運維綜合分析數據的3D呈現如下圖 2. 所示:

8.jpg

(圖2:運維綜合分析數據呈現示意圖)

  網絡可視化實現對主干網、離港網、安防網等三大生產網絡的核心、匯聚網絡設備運行情況進行實時展示。同時按網絡分區、網絡分層對各類網絡設備和資源進行可視化展現。實現全局總覽和局部重點關注,也可獨立顯示當前層級的網絡拓撲結構。系統的網絡可視化呈現支持對網絡運行統計數據、網絡健康度分析評估數據的可視化展現,另外還支持對網絡設備的在線狀態、設備運行性能指標、故障告警等各類運行態勢數據的實時展現,如下圖3所示:

9.jpg

(圖3:網絡可視化呈現)

  信息系統可視化支持多維度、層次化來展現業務系統的組成和運行態勢,提供基于應用系統整體運行態勢監控視圖,也提供基于應用系統基礎架構組成關系的業務邏輯監控展現視圖。另外,信息系統資源可視化呈現視圖實現對機場各類設備設施根據所屬系統、分布位置等進行分類統計和可視化展現,綜合展現系統運行中心所負責維護管理的資源的整體情況。目前接入了離港、航顯、廣播、CCTV、門禁、呼叫中心等10多個信息系統,300多臺服務器,展示示例如下圖4所示:

10.jpg

(圖4:信息系統可視化展示)

 ?。?)監控智能化

  監控智能化主要體現為兩點:一是故障實時告警;二是運行態勢提前預警,預警功能分為網絡和應用兩個層面。

  智能化運控平臺一旦監測到系統設備或應用的異常,可以根據各系統設置的輪巡時間最快發現異常并實時發出告警,告警的發出提供聲光效果設置,不再依賴人工查看。告警信息將包括故障的設備信息、所在機房等數據自動生成報修工單推送至移動端。

  提前預警根據系統歷史數據,結合大數據算法,評估系統未來的運行趨勢,將故障發生的可能性提前進行警示,目前主要實現了網絡的健康度分析和應用的健康度分析:

 ?、倬W絡健康度分析評估支持對機場整體網絡、分區網絡及網絡設備進行健康度評估。網絡設備的健康度分析評估從設備所處網絡位置、設備使用年限、設備故障記錄、設備性能負載、設備流量負載、支撐業務應用等維度進行綜合分析。通過各維度權重分值進行加權計算設備所得健康度。

 ?、趹媒】刀确治鲈u估支持對機場各業務應用系統及應用支持資源的健康度評估。業務應用分析可以統計在一定時間段內,關鍵應用系統可用性、宕機次數、宕機時長、運行趨勢等以直觀對比形式呈現出來。根據設備監控指標歷史監控數據,對系統資源性能態勢進行預測。

 ?。?)運維移動化

  運維移動化的實現依托于移動端APP的開發使用,實現功能主要有以下幾點:

  ——智能化運控平臺生成告警、發出報修工單,運維人員可以在移動端實時接收故障位置、故障設備等信息后根據自身位置進行就近接單。

  ——在線運維支持功能,已完成的工單信息形成運維經驗共享知識庫,運維人員可以得到歷史故障處理信息的在線支持;也可以與其他技術人員連線支持,并通過關聯照片的上傳等進行互動說明。

  ——巡檢保養工單自適應生成,根據當日巡檢內容,按照不同系統、不同區域的設備生成就近最合理的路線。

  ——備品備件聯動管理,故障處理需要使用備品備件時在對應工單填寫使用情況,自動關聯至管理庫進行登記、扣除等。

  ——績效考核量化支持,簽到功能提供人員是否到崗情況,每個報修工單會根據處理的故障復雜程度進行不同的分值設置,處理人員會得到相應的分值,為工作量化考核提供依據等。

  3、IT運控平臺建設的成效

 ?。?)預防,實時對系統進行健康體檢

  運控平臺通過實時監控網絡性能、分析應用狀態等手段,評估系統整體健康度,實現系統運行數據一體化,全局掌握系統的健康水平。

  平臺對網絡設備實時監測,并對設備性能進行評估,設備性能監控指標包括:在線狀態、Ping延時、CPU、RAM、端口狀態、端口速率、端口包速、端口丟包率、端口錯包率等。

  通過Agent方式和多種協議方式管理和監測系統服務器硬件指標和操作系統,支持不同操作系統的服務器、小機的運行狀態和性能數據,包括服務器的基本信息、CPU負載、內存利用率、應用進程、文件系統、磁盤空間和吞吐、事件、網卡和日志等信息的分析與監控,收集系統日志信息等,最終形成各業務系統的總體健康“體檢報告”,如下圖5所示:

11.jpg

(圖5:系統整體健康評估展示)

 ?。?)預警,提前消除故障萌芽

  預警是根據健康體檢數據,結合歷史故障數據和歷史體檢數據分析系統當前運行趨勢,對不平滑數據進行實施預警,人工干預,提前遏止故障萌芽。

  預警功能的實現,能夠提前發現網絡設備或服務器端的異常,提醒技術人員進行分析、確認,并采取相應的預防、干預措施,在用戶無感知的情況下快速定位、快速解決。

  自智能化運控平臺上線至今,通過平臺告警快速定位區域性故障,平臺預警提前干預的處理方式,減少了故障數量,提升了系統的安全性能,延長了業務的連續性,從而進一步提升了用戶的使用體驗。以航顯系統為例,平臺建成后故障量較之前明顯下降,如圖6所示:

12.jpg

(圖6:平臺建成前后航顯系統故障量對比圖)

 ?。?)預控,提升現場管控水平

  智能化運控平臺上線至今,已實現對所轄2200多臺匯聚層、核心層、接入層的交換機進行集中監控,一旦設備發生故障,最遲將在10分鐘內發出告警;告警信息關聯設備,從系統架構層面,可以定位到系統的不同層面,例如服務器,中間件,還是網絡設備,從物理位置層面,可以定位到具體機房。重大故障發生后定位故障的時間由原先的30分鐘縮短為5分鐘,實現了故障快速定位,提升系統管控能力、提高用戶體驗。

  終端點位散的系統或系統使用非高峰時段發生服務器端故障時,智能化運控平臺能通過網絡設備、系統應用狀態以及機房環境數據的實時監測、綜合信息顯示,幫助運維人員對接報故障進行原因關聯預判,能夠更快速地處理解決問題。以安防類系統CCTV和門禁系統為例,根據平臺發出的相關告警提前發現設備下線、網絡設備端口下線或服務器相關進程異常等,快速定位故障點,區域化故障平均處理時間減少約30分鐘。智能化運控平臺的建設進一步優化了業務流程,同時縮短了故障處理排除閉環時間,具體對比信息如圖7所示:

13.jpg

(圖7:故障處理時間對比圖)

  四、總結和展望

  “平安機場、綠色機場、智慧機場、人文機場”的四型機場建設中,智慧機場建設是關鍵支撐。浦東機場機電信息保障部借助前沿科技,推動建設了智能化運控平臺,將系統運維防線前移,在“預”字上下功夫,扎緊“預防、預警、預控”的籬笆,提高了業務系統的連續性,也加強了現場的一體化管控能力。

  未來,浦東機場的技術保障團隊將繼續挖掘信息系統智能化運控平臺的潛力,在架構設計已具備良好開放性和統一性的基礎上,繼續深入機房監控,新增核心機房目視化管理模塊,將進出機房人員作業全監控;考慮引入網絡流量監控,做出安全分析,實現網絡信息安全態勢感知的新功能,努力將浦東機場打造成“國內最好、世界一流”的智慧機場。

來源:民航資源網

Related posts

多維度擁抱“智慧機場” 安防企業各顯神通

一潼

阿爾山機場安檢人臉識別系統投入使用

趙新

民航安檢面臨的主要挑戰、主要矛盾與對策

一潼

Leave a Comment

赚钱没有今年和明年 怎样买平特一肖赚钱 股票各种线详解图 好玩的棋牌游戏排行榜 全民捕鱼内购破解版 北方推倒胡麻将下载免费游戏 正版免费资料大全 腾讯qq麻将 全网最准一尾中特公式 闲来广东麻将精华版 118开奖现场+开奖直播