運(yùn)營(yíng)商O(píng)域數(shù)據(jù)中心承擔(dān)著在網(wǎng)絡(luò)運(yùn)行維護(hù)過(guò)程中采集、處理各環(huán)節(jié)信息,從而為網(wǎng)絡(luò)規(guī)劃、設(shè)備運(yùn)行、業(yè)務(wù)發(fā)展等多方面提供決策支持的任務(wù),是運(yùn)營(yíng)商業(yè)務(wù)支撐的關(guān)鍵系統(tǒng)之一。隨著運(yùn)營(yíng)商信令類(lèi)數(shù)據(jù)量的迅速增長(zhǎng)、數(shù)據(jù)源種類(lèi)的變化和用戶日益增長(zhǎng)的通信需求,數(shù)據(jù)中心對(duì)數(shù)據(jù)庫(kù)的實(shí)時(shí)性、可用性、安全性等能力提出了更高的要求。
為進(jìn)一步優(yōu)化平臺(tái)架構(gòu)、提升O域數(shù)據(jù)處理能力與管理水平,北京移動(dòng)2022年開(kāi)始啟動(dòng)數(shù)據(jù)共享平臺(tái)能力優(yōu)化項(xiàng)目,項(xiàng)目引入睿帆科技雪球數(shù)據(jù)庫(kù)Snowball替換原有數(shù)據(jù)庫(kù),構(gòu)建運(yùn)營(yíng)商數(shù)據(jù)中心實(shí)時(shí)數(shù)倉(cāng),為數(shù)據(jù)中心提供全面的數(shù)據(jù)庫(kù)服務(wù)支撐。
國(guó)產(chǎn)創(chuàng)新,深入核心
雪球數(shù)據(jù)庫(kù)Snowball是一款睿帆科技自主研發(fā)的支持PB級(jí)數(shù)據(jù)量的、高并發(fā)的OLAP數(shù)據(jù)庫(kù)管理系統(tǒng),具備高可用、高性能、高容錯(cuò)等特性。優(yōu)于傳統(tǒng)數(shù)據(jù)庫(kù)10倍以上的超快查詢(xún)速度、每秒數(shù)百萬(wàn)行的超強(qiáng)寫(xiě)入性能與1000節(jié)點(diǎn)以上的超強(qiáng)擴(kuò)展性,使得雪球數(shù)據(jù)庫(kù)Snowball不僅滿足超大規(guī)模數(shù)據(jù)量下對(duì)查詢(xún)性能要求極其苛刻的應(yīng)用場(chǎng)景,更是構(gòu)建大規(guī)模、實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)的核心基石。
憑借睿帆科技在運(yùn)營(yíng)商領(lǐng)域深耕近10年的經(jīng)驗(yàn)和對(duì)運(yùn)營(yíng)商業(yè)務(wù)技術(shù)的深厚積累,雪球數(shù)據(jù)庫(kù)Snowball已成功服務(wù)全國(guó)超過(guò)半數(shù)省份的運(yùn)營(yíng)商用戶,在多個(gè)運(yùn)營(yíng)商核心系統(tǒng)持續(xù)平穩(wěn)運(yùn)行多年,因此成為本次北京移動(dòng)的首選產(chǎn)品。
平滑替代,全面升級(jí)
在本次改造前,北京移動(dòng)數(shù)據(jù)中心一直使用的是Hbase。作為成熟分布式存儲(chǔ)系統(tǒng)之一,HBase雖然具備高可靠、高性能、可伸縮的優(yōu)勢(shì),但在使用過(guò)程中也存在著查詢(xún)時(shí)延大、查詢(xún)模式單一、運(yùn)維復(fù)雜等難題,很難滿足北京移動(dòng)數(shù)據(jù)多維及時(shí)分析要求。
要完成本次國(guó)產(chǎn)數(shù)據(jù)庫(kù)產(chǎn)品的替換,不僅需要在功能、安全性、穩(wěn)定性上達(dá)到原有Hbase水平,還要具備快速查詢(xún)的能力,滿足北京移動(dòng)各級(jí)人員訪問(wèn)和相關(guān)重點(diǎn)應(yīng)用數(shù)據(jù)計(jì)算需求;在性能和容量上,更要同時(shí)滿足數(shù)據(jù)實(shí)時(shí)處理和海量存儲(chǔ)的需求。
歷時(shí)數(shù)月,經(jīng)過(guò)多輪測(cè)試,睿帆團(tuán)隊(duì)在不影響原系統(tǒng)架構(gòu)和邏輯的前提下,依托與原庫(kù)的極致兼容性,準(zhǔn)確、高效、低風(fēng)險(xiǎn)地將原庫(kù)數(shù)據(jù)無(wú)損移植到雪球數(shù)據(jù)庫(kù)Snowball,并進(jìn)一步完成多項(xiàng)能力的擴(kuò)展與提升:
1.不僅支撐了海量數(shù)據(jù)入庫(kù)查詢(xún)這類(lèi)通用場(chǎng)景,還擴(kuò)展了即席分析、實(shí)時(shí)數(shù)據(jù)合成、實(shí)時(shí)數(shù)據(jù)匯聚等多種業(yè)務(wù)能力,沉淀了實(shí)時(shí)數(shù)倉(cāng)的構(gòu)建能力,提升了運(yùn)營(yíng)商數(shù)據(jù)中心項(xiàng)目中模型計(jì)算的及時(shí)性;
2.在保障現(xiàn)網(wǎng)業(yè)務(wù)穩(wěn)定性的前提下,先后完成了大吞吐入庫(kù)的性能提升優(yōu)化、查詢(xún)接口的兼容性適配、數(shù)據(jù)查詢(xún)效率優(yōu)化、數(shù)據(jù)合成算法的計(jì)算性能優(yōu)化、告警數(shù)據(jù)入庫(kù)及時(shí)性的優(yōu)化等多項(xiàng)優(yōu)化內(nèi)容;
3.通過(guò)在雪球數(shù)據(jù)庫(kù)Snowball中使用小批次關(guān)聯(lián)計(jì)算,實(shí)現(xiàn)了VoLTE話單的多接口關(guān)聯(lián),將原有的關(guān)聯(lián)合成時(shí)延從2小時(shí)提升至10分鐘,并最終實(shí)現(xiàn)了15分鐘粒度的核心網(wǎng)問(wèn)題的異常定位能力。
平穩(wěn)運(yùn)行,賦能一線
截至今年,雪球數(shù)據(jù)庫(kù)Snowball已在北京移動(dòng)數(shù)據(jù)共享平臺(tái)上線運(yùn)行近兩年,穩(wěn)定、高效地支撐起O域數(shù)據(jù)中心各項(xiàng)任務(wù),在效率提升、成本控制、客戶感知等方面成效顯著:
1.提升一線工作效率:在完成VoLTExdr從Hbase向雪球數(shù)據(jù)庫(kù)Snowball的遷移后,基于VoLTE的多維查詢(xún)提數(shù)效率顯著提升,SQL查詢(xún)時(shí)間縮短80%以上,從原本的幾小時(shí)縮短到幾分鐘,有效提升業(yè)務(wù)人員工作效率;
2.降低軟硬件成本:雪球數(shù)據(jù)庫(kù)Snowball的引入提升了運(yùn)營(yíng)商數(shù)據(jù)中心項(xiàng)目中模型計(jì)算的及時(shí)性,節(jié)省了服務(wù)器硬件的投入,并實(shí)現(xiàn)綜合節(jié)省資源30%。
3.提升客戶感知:為客戶滿意度分析、業(yè)務(wù)感知指標(biāo)分析提供數(shù)據(jù)與算力支持,間接協(xié)助提升客戶感知。
近年來(lái),雪球數(shù)據(jù)庫(kù)Snowball持續(xù)服務(wù)運(yùn)營(yíng)商、軌交、政務(wù)等各行業(yè)數(shù)字化轉(zhuǎn)型升級(jí),憑借高性能、可靠性、易用性等贏得北京移動(dòng)、四川移動(dòng)、廣州公安等眾多客戶認(rèn)可。未來(lái),睿帆科技將繼續(xù)加強(qiáng)研發(fā)投入和自主創(chuàng)新,加速推動(dòng)雪球數(shù)據(jù)庫(kù)Snowball迭代升級(jí)與重點(diǎn)行業(yè)典型場(chǎng)景應(yīng)用落地,以高水平科技創(chuàng)新賦能千行百業(yè)高質(zhì)量發(fā)展。
相關(guān)稿件