<noframes id="5hrf5"><address id="5hrf5"></address>

<sub id="5hrf5"><listing id="5hrf5"><listing id="5hrf5"></listing></listing></sub>

        首頁 > 大數據 > 正文

        大數據網管運營數據存儲模式研究

        2020-07-15 09:52:44  來源:通信世界網

        摘要:隨著近兩年通信流量業務開展得如火如荼,更多的用戶上網行為的數據分析需求猛增,而處理這類數據需要大量的寫入處理,而且字段不固定,
        關鍵詞: 大數據 網管
          隨著近兩年通信流量業務開展得如火如荼,更多的用戶上網行為的數據分析需求猛增,而處理這類數據需要大量的寫入處理,而且字段不固定,傳統的關系型數據庫已無法滿足需求,急需多節點的分布式大數據集群來解決數據處理及存儲問題。
         
          本研究構建了一套大數據采集、存儲體系,將系統分為采集層、ODS、DW、DM等四層,分別完成海量數據的采集、匯總、處理、生成價值數據過程中的不同環節。其中,采集層負責原始數據的采集,ODS層負責統一不同系統間的業務內容,對部分海量數據的非結構化數據進行轉換。DW層是以空間換時間的一層,要形成大量的基礎Cube,基礎常用業務粒度的數據。實現統一的KPI過程,是ODS層指標轉換的基礎。DM層主要是面向業務的組合,面向分析的Cube變換,面向挖掘的數據變換。
         
          數據分類存儲
         
          在數據存儲過程中,按照數據價值和生命周期管理原則(熱數據對存儲性能要求高,隨著數據生命周期的變化,數據價值降低,逐漸向一般性能存儲遷移,其中數據價值的參考項包括時效性、訪問頻率、價值密度、業務意義等),可以將不同數據分類存儲,制定不同的存儲方式及存儲周期。
         
          對于采集層的原始數據,將采集層的數據加載到基礎數據緩存,為數據整合提供緩存,其中大數據1~3天,傳統數據7天。對于ODS層數據,通過內存庫關聯與整合,ETL為ODM提供完整、準確的數據。該層存儲周期:大數據3個月,傳統數據1年。對于DW層數據,通過基于數據模型的并行計算域數據庫計算,提供多用途的輕度匯總,該層數據類型主要為按維度、事實組織的數據,存儲周期為3年。
         
          數據處理及存儲過程采用了分布式架構,其中有兩項關鍵技術—HDFS和MapReduce,應用這兩項技術能給系統帶來如下技術優勢。
         
          Hadoop分布式文件系統適合運行在通用硬件(x86服務器)上的分布式文件系統,HDFS對外開放文件命名空間并允許用戶數據以文件形式存儲;MapReduce能自動將一個作業(Job)待處理的大數據劃分為很多個數據塊,每個數據塊對應于一個計算任務(Task),并自動調度計算節點來處理相應的數據塊。作業和任務調度功能主要負責分配和調度計算節點(Map節點或Reduce節點),同時負責監控這些節點的執行狀態,并負責Map節點執行的同步控制。
         
          具體應用案例
         
          通過該系統的推進落地,吉林省完成了省內大數據處理平臺—數據共享平臺的建設,該系統日均處理數據超過10T左右,并為吉林省內多個上層應用提供了數據支撐,比如互聯網端到端系統能以四大類關鍵業務(網頁瀏覽類、視頻類、即時通信類、應用下載類)進行端到端質量分析,通過五元五階分析定位方法,能夠定位質差業務SP、質差小區、質差核心網網元、質差終端等,并找出業務問題原因;CSFB業務質量分析系統能實現全流程質量概況分析、全流程質差網元問題定位分析;客戶滿意度畫像從覆蓋質量、網絡感知等網絡指標判斷用戶滿意度,做到在被投訴之前發現問題。
         
          這些應用在吉林省內日常的網絡問題分析、優化,業務預測、發展支撐等方面發揮著有力的數據支撐作用。

        第三十屆CIO班招生
        法國布雷斯特商學院碩士班招生
        北達軟EXIN網絡空間與IT安全基礎認證培訓
        北達軟EXIN DevOps Professional認證培訓
        責編:zhangwenwen
        韩日三级片- 视频 - 在线观看 - 影视资讯 - av片