近日，由中國(guó)信息通信研究院和中國(guó)通信標(biāo)準(zhǔn)化協(xié)會(huì)大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)推進(jìn)委員會(huì)(CCSA TC601)共同組織的 2023 大數(shù)據(jù)“星河(Galaxy)”案例征集活動(dòng)評(píng)選結(jié)果現(xiàn)已公示。案例征集自9月啟動(dòng)以來，受到了業(yè)界廣泛關(guān)注和踴躍報(bào)名。經(jīng)過形式審查和專家評(píng)審，矩陣起源與深圳智慧城市大數(shù)據(jù)中心有限公司聯(lián)合申報(bào)的《基于超融合數(shù)據(jù)庫的一站式交通大數(shù)據(jù)平臺(tái)》在 706 份申報(bào)案例中成功入選數(shù)據(jù)庫優(yōu)秀案例。

在智慧交通應(yīng)用中面臨著復(fù)雜的數(shù)據(jù)處理需求，即：人、車輛、道路和環(huán)境等各個(gè)方面都會(huì)產(chǎn)生大量異構(gòu)數(shù)據(jù)，交通管理人員需要實(shí)時(shí)分析和決策這些數(shù)據(jù)，以應(yīng)對(duì)各種交通事件。深智城大數(shù)據(jù)公司在承接了多個(gè)交通領(lǐng)域的大數(shù)據(jù)項(xiàng)目之后，形成了一套基于傳統(tǒng)數(shù)據(jù)庫與 Hadoop 架構(gòu)的大數(shù)據(jù)解決方案。但在實(shí)際使用中發(fā)現(xiàn)：

在交通場(chǎng)景中有較大缺陷：無法滿足超大規(guī)模高頻數(shù)據(jù)寫入、實(shí)時(shí)數(shù)據(jù)分析、數(shù)據(jù)實(shí)時(shí)更新、數(shù)據(jù)一致性保證和異構(gòu)數(shù)據(jù)兼容等業(yè)務(wù)需求。

在管理復(fù)雜度上存在較大問題：Hadoop 技術(shù)棧組件分散、運(yùn)維復(fù)雜，對(duì)于快速交付和長(zhǎng)期的運(yùn)維都造成了很大的挑戰(zhàn)。

對(duì)于新興的云原生基礎(chǔ)設(shè)施(如 K8s)的兼容性不夠高：無法充分利用底層硬件資源，管理維護(hù)碎片化。

矩陣起源歷時(shí) 10 個(gè)月，幫助其將存量的百TB數(shù)據(jù)離線數(shù)據(jù)及數(shù)十 TB 的實(shí)時(shí)數(shù)據(jù)分別從 Hadoop 及 ClickHouse 中遷移到 MatrixOne 中，針對(duì)業(yè)務(wù)需求的實(shí)時(shí)分析鏈路進(jìn)行專項(xiàng)性能優(yōu)化;并針對(duì)一些半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)定制了數(shù)據(jù)類型及 UDF 函數(shù)。最終，成功使得深圳智慧城市大數(shù)據(jù)中心有限公司減少 80% 數(shù)據(jù)組件個(gè)數(shù)，并降低 50% 運(yùn)維成本。此案例是交通行業(yè)首個(gè)采用超融合數(shù)據(jù)庫的大數(shù)據(jù)業(yè)務(wù)項(xiàng)目，也是首個(gè)原生使用 K8s 將數(shù)據(jù)層和業(yè)務(wù)層統(tǒng)一納管并完全容器化的項(xiàng)目。

此次成功入選大數(shù)據(jù)“星河”案例，證明了矩陣起源在項(xiàng)目中展現(xiàn)出了卓越的專業(yè)技能和技術(shù)創(chuàng)新能力，為深圳智慧城市大數(shù)據(jù)中心有限公司帶來了顯著的效益;同時(shí)，也為整個(gè)交通行業(yè)提供了全新的數(shù)據(jù)處理思路和解決方案。該案例為行業(yè)帶來了較為深遠(yuǎn)的影響，為數(shù)據(jù)智能在交通行業(yè)的廣泛應(yīng)用貢獻(xiàn)了技術(shù)力量。