加入星計(jì)劃,您可以享受以下權(quán)益:

  • 創(chuàng)作內(nèi)容快速變現(xiàn)
  • 行業(yè)影響力擴(kuò)散
  • 作品版權(quán)保護(hù)
  • 300W+ 專業(yè)用戶
  • 1.5W+ 優(yōu)質(zhì)創(chuàng)作者
  • 5000+ 長(zhǎng)期合作伙伴
立即加入
  • 正文
    • Part 01●??痛點(diǎn)問題?●?
    • Part 02●??解決方案?●
    • Part 03●? 應(yīng)用成效?●
    • Part 04●??未來推廣?●
  • 推薦器件
  • 相關(guān)推薦
  • 電子產(chǎn)業(yè)圖譜
申請(qǐng)入駐 產(chǎn)業(yè)圖譜

五分鐘技術(shù)趣談 | 國(guó)產(chǎn)化數(shù)據(jù)庫(kù)的改造應(yīng)用,助力數(shù)字家庭千萬級(jí)終端管控

2023/12/28
3044
閱讀需 9 分鐘
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點(diǎn)資訊討論

作者:數(shù)字家庭管理平臺(tái)團(tuán)隊(duì),單位:中國(guó)移動(dòng)智慧家庭運(yùn)營(yíng)中心

近年來,中國(guó)移動(dòng)融入國(guó)家科創(chuàng)大局,堅(jiān)定國(guó)產(chǎn)化指導(dǎo)戰(zhàn)略,加快自主能力創(chuàng)新。中國(guó)移動(dòng)智慧家庭運(yùn)營(yíng)中心(簡(jiǎn)稱智家中心)深耕數(shù)字家庭領(lǐng)域,數(shù)字家庭管理平臺(tái)團(tuán)隊(duì)積極響應(yīng)國(guó)家和集團(tuán)公司的核心軟件國(guó)產(chǎn)化和自主可控要求,依托終端管理模塊(Remote Management System,簡(jiǎn)稱RMS)進(jìn)行去Oracle數(shù)據(jù)庫(kù)(簡(jiǎn)稱去O)信創(chuàng)研發(fā)工作。

Part 01●??痛點(diǎn)問題??

RMS是由智家中心自主研發(fā),屬于省級(jí)數(shù)字家庭產(chǎn)品線的重點(diǎn)產(chǎn)品,掌握100%知識(shí)產(chǎn)權(quán)。其面向省級(jí)網(wǎng)管人員,實(shí)現(xiàn)網(wǎng)關(guān)和機(jī)頂盒的管理功能;面向省內(nèi)代維及客服系統(tǒng),輸出終端設(shè)備操作能力。

圖1? RMS功能架構(gòu)圖

RMS以往采用Oracle作為核心業(yè)務(wù)數(shù)據(jù)庫(kù),雖然滿足了作為重要生產(chǎn)系統(tǒng)數(shù)據(jù)庫(kù)的穩(wěn)定性要求,但近年隨著國(guó)際形勢(shì)變化,自主可控的號(hào)召越來越深入人心。各省隨著設(shè)備和業(yè)務(wù)量的增長(zhǎng),對(duì)數(shù)據(jù)庫(kù)的性能要求也愈來愈高,當(dāng)前的數(shù)據(jù)庫(kù)方案存在諸多風(fēng)險(xiǎn):

? 高額成本:按照現(xiàn)網(wǎng)各省平均需要2臺(tái)Oracle服務(wù)器算,每臺(tái)32C的一年license費(fèi)用大概150w,則各省數(shù)據(jù)庫(kù)成本約為300萬/年。

? 性能瓶頸:Oracle數(shù)據(jù)庫(kù)不能分庫(kù)分表,單臺(tái)服務(wù)器算力不足。

? 安全性弱:使用Oracle數(shù)據(jù)庫(kù)存在被美國(guó)“卡脖子”制裁的可能。

然而,想要實(shí)現(xiàn)安全高效地切換數(shù)據(jù)庫(kù),也存在以下難點(diǎn):

? 改造成本高:一般去O過程需要在數(shù)據(jù)庫(kù)層面一次性改造完成,涉及大量業(yè)務(wù)SQL的改動(dòng),且需要一邊改造一邊適配新的業(yè)務(wù)需求,相當(dāng)于雙數(shù)據(jù)庫(kù)兼容開發(fā),整個(gè)去O過程周期長(zhǎng)、風(fēng)險(xiǎn)大,改造成本很高。

? 切換有風(fēng)險(xiǎn):在現(xiàn)有的持續(xù)運(yùn)行的系統(tǒng)下切換數(shù)據(jù)庫(kù)數(shù)據(jù)源,切換數(shù)據(jù)庫(kù)語(yǔ)法,相當(dāng)于開著飛機(jī)換引擎,稍有不慎將會(huì)影響現(xiàn)網(wǎng)的業(yè)務(wù)。

Part 02●??解決方案?

為解決上述問題,RMS的重點(diǎn)工作包括數(shù)據(jù)庫(kù)的選型、分庫(kù)分表方案策略的規(guī)劃、服務(wù)資源的規(guī)劃以及千萬級(jí)數(shù)據(jù)同步的割接方法的設(shè)計(jì)等,并基于MyCAT痛點(diǎn)開發(fā)深度分頁(yè)、數(shù)據(jù)源動(dòng)態(tài)切換、分庫(kù)直連查詢等能力來提升開發(fā)效率與SQL執(zhí)行性能:

縮小改造成本,兼容Oracle、MySQL與TiDB?

針對(duì)數(shù)據(jù)庫(kù)去O的國(guó)產(chǎn)化產(chǎn)品,目前主流有2種方案,基于PostgreSQL和基于MySQL??紤]到MySQL基于主鍵索引組織的表更適合大量頻繁查詢和修改操作,更適合業(yè)務(wù)需要,以及國(guó)內(nèi)MySQL生態(tài)更加繁榮完善,所以國(guó)產(chǎn)化的第一步開源適配決定采用基于MySQL的方案。

但由于Oracle公司已經(jīng)收購(gòu)MySQL,所以社區(qū)開源版本MySQL只是臨時(shí)過渡選擇。因此,團(tuán)隊(duì)還適配了TiDB,即目前國(guó)內(nèi)領(lǐng)先的開源HTAP融合型分布式數(shù)據(jù)庫(kù)。TiDB兼容MySQL的大部分功能,因此業(yè)務(wù)層面的SQL基本不用改動(dòng),在現(xiàn)網(wǎng)省份落地過程中可以做到業(yè)務(wù)層的快速適配。

實(shí)現(xiàn)數(shù)據(jù)庫(kù)切換平穩(wěn)迅速

為了確保平穩(wěn)切換,在去O過程中Oracle與MySQL雙庫(kù)并行運(yùn)行,功能上完全相同,同時(shí)支持表維度分批遷移表數(shù)據(jù),可使去O的過程更加平穩(wěn)可控。并支持持續(xù)演化,無縫對(duì)接原生HTAP融合型分布式數(shù)據(jù)庫(kù)。按照現(xiàn)網(wǎng)去O經(jīng)驗(yàn),一般通過2到3個(gè)小版本快速迭代開發(fā),2個(gè)月內(nèi)可完成整個(gè)去O數(shù)據(jù)庫(kù)遷移,相比傳統(tǒng)去O大版本節(jié)約一半時(shí)間。

性能穩(wěn)中有升

為了提升開發(fā)效率與SQL執(zhí)行性能,支持采用MyCAT中間件對(duì)MySQL進(jìn)行分庫(kù)分表,或者直接采用性能更加優(yōu)異的TiDB原生分布式數(shù)據(jù)庫(kù)。其中,TiDB支持水平擴(kuò)容,具備強(qiáng)一致性和高可用性,在滿足OLTP傳統(tǒng)事務(wù)型處理基礎(chǔ)上,支持OLAP分析型需求,性能優(yōu)異。以上2種方案都支持水平擴(kuò)容,做到了性能穩(wěn)中有升。

為了克服MyCAT帶來的不支持大表查詢問題,在應(yīng)用層進(jìn)行了分庫(kù)直連匯總結(jié)果和深度分頁(yè)查詢匯總結(jié)果。常規(guī)分頁(yè)查詢連續(xù)頁(yè)的時(shí)候會(huì)產(chǎn)生大量重復(fù)計(jì)算,千萬級(jí)規(guī)模大表分頁(yè)查詢性能極差,容易造成接口響應(yīng)超時(shí)。深度分頁(yè)加入自主可配的索引字段作為查詢條件,記錄每次查詢結(jié)果的最后一行數(shù)據(jù)的索引值,數(shù)據(jù)庫(kù)可以根據(jù)索引跳過之前查詢的數(shù)據(jù),避免了大量重復(fù)計(jì)算。另外,根據(jù)不同的業(yè)務(wù)場(chǎng)景,還提供了數(shù)據(jù)庫(kù)直接連接和數(shù)據(jù)源動(dòng)態(tài)切換等組件,以滿足各種場(chǎng)景下的業(yè)務(wù)需求。

圖2 深度分頁(yè)流程圖

圖3 分庫(kù)直連查詢流程圖

圖4 數(shù)據(jù)源動(dòng)態(tài)切換流程圖

安全可控

引入數(shù)據(jù)庫(kù)的自治能力,實(shí)現(xiàn)數(shù)據(jù)庫(kù)自動(dòng)化和智能化運(yùn)維。通過工具KSH周期性采集數(shù)據(jù)庫(kù)的會(huì)話歷史和各種負(fù)載信息,采用工具KWR快速生成性能報(bào)告,重點(diǎn)分析連接數(shù)、IO、等待事件、TOP SQL等信息,根據(jù)分析結(jié)果對(duì)數(shù)據(jù)庫(kù)進(jìn)行自動(dòng)化配置優(yōu)化,實(shí)現(xiàn)數(shù)據(jù)庫(kù)的平穩(wěn)運(yùn)行與安全可控。此外,通過此方案做到了國(guó)產(chǎn)化和自主可控,業(yè)務(wù)層面完全自研,保障了平臺(tái)的安全性。

Part 03●? 應(yīng)用成效?

經(jīng)過研發(fā)、測(cè)試、預(yù)上線、調(diào)試、正式部署等一系列工作,全力打造了故障率低、故障恢復(fù)時(shí)間短、并發(fā)能力強(qiáng)、動(dòng)態(tài)線性擴(kuò)容等優(yōu)化路徑,加快推動(dòng)了數(shù)字家庭管理平臺(tái)終端管理能力全網(wǎng)落地,擴(kuò)大了可管可控的設(shè)備管理規(guī)模。

此數(shù)據(jù)庫(kù)國(guó)產(chǎn)化方案于2022年1月開始陸續(xù)落地重慶、甘肅等省份,納管設(shè)備超2200萬臺(tái)。在各項(xiàng)資源和指標(biāo)的監(jiān)控下,目前處于良好運(yùn)行狀態(tài)。

歷時(shí)1年半,基于高可用大流量強(qiáng)復(fù)用的自主MyCAT模式千萬級(jí)數(shù)據(jù)管理能力終于得到認(rèn)可,成為替代Oracle商業(yè)數(shù)據(jù)庫(kù)的有利抓手。不僅降低了Oracle商業(yè)數(shù)據(jù)庫(kù)高昂的授權(quán)費(fèi)用,為省公司節(jié)約軟件成本約300萬/年,并且解決了擴(kuò)容困難帶來的性能問題,擺脫了使用Oracle數(shù)據(jù)庫(kù)被美國(guó)制裁的危機(jī)。

Part 04●??未來推廣?

數(shù)據(jù)庫(kù)國(guó)產(chǎn)化是一件改造周期長(zhǎng)、改造難度大、改造成本高的問題,該成果在一線生產(chǎn)業(yè)務(wù)系統(tǒng)歷時(shí)兩年改造并平穩(wěn)落地,RMS具備千萬級(jí)自主數(shù)據(jù)的管控能力已經(jīng)得到了充分驗(yàn)證,為后續(xù)國(guó)產(chǎn)化數(shù)據(jù)庫(kù)的平穩(wěn)落地奠定了良好的基礎(chǔ),也對(duì)其他業(yè)務(wù)系統(tǒng)國(guó)產(chǎn)化數(shù)據(jù)庫(kù)改造有非常高的借鑒意義。其中基于Mybatis SQL統(tǒng)一攔截的實(shí)現(xiàn)方案,普遍試用于大多數(shù)軟件項(xiàng)目,未來可將兼容多數(shù)據(jù)庫(kù)技術(shù)方案獨(dú)立成數(shù)據(jù)庫(kù)組件進(jìn)行推廣。

推薦器件

更多器件
器件型號(hào) 數(shù)量 器件廠商 器件描述 數(shù)據(jù)手冊(cè) ECAD模型 風(fēng)險(xiǎn)等級(jí) 參考價(jià)格 更多信息
KSZ9031RNXCA-TR 1 Microchip Technology Inc DATACOM, ETHERNET TRANSCEIVER, QCC48

ECAD模型

下載ECAD模型
$105.81 查看
KSZ8463MLI 1 Microchip Technology Inc DATACOM, MANCHESTER ENCODER
$6.84 查看
ISO1050DUB 1 Texas Instruments Isolated 5-V CAN transceiver 8-SOP -55 to 105

ECAD模型

下載ECAD模型
$6.62 查看
中國(guó)移動(dòng)

中國(guó)移動(dòng)

中國(guó)移動(dòng)有限公司(「本公司」,包括子公司合稱為「本集團(tuán)」)于1997年9月3日在香港成立,本集團(tuán)在中國(guó)內(nèi)地所有三十一個(gè)省、自治區(qū)、直轄市以及香港特別行政區(qū)提供通信和信息服務(wù),業(yè)務(wù)主要涵蓋個(gè)人、家庭、政企和新興市場(chǎng)的語(yǔ)音、數(shù)據(jù)、寬帶、專線、IDC、云計(jì)算、物聯(lián)網(wǎng)等,是中國(guó)內(nèi)地最大的通信和信息服務(wù)供應(yīng)商,亦是全球網(wǎng)絡(luò)和客戶規(guī)模最大、盈利能力領(lǐng)先、市值排名位居前列的世界級(jí)通信和信息運(yùn)營(yíng)商。

中國(guó)移動(dòng)有限公司(「本公司」,包括子公司合稱為「本集團(tuán)」)于1997年9月3日在香港成立,本集團(tuán)在中國(guó)內(nèi)地所有三十一個(gè)省、自治區(qū)、直轄市以及香港特別行政區(qū)提供通信和信息服務(wù),業(yè)務(wù)主要涵蓋個(gè)人、家庭、政企和新興市場(chǎng)的語(yǔ)音、數(shù)據(jù)、寬帶、專線、IDC、云計(jì)算、物聯(lián)網(wǎng)等,是中國(guó)內(nèi)地最大的通信和信息服務(wù)供應(yīng)商,亦是全球網(wǎng)絡(luò)和客戶規(guī)模最大、盈利能力領(lǐng)先、市值排名位居前列的世界級(jí)通信和信息運(yùn)營(yíng)商。收起

查看更多

相關(guān)推薦

電子產(chǎn)業(yè)圖譜

移動(dòng)Labs是中國(guó)移動(dòng)的社交化新媒體平臺(tái),是面向外部行業(yè)及產(chǎn)業(yè)鏈合作伙伴的信息發(fā)布、業(yè)務(wù)發(fā)展和產(chǎn)業(yè)推進(jìn)門戶。