哪些用戶需要遷移原社區(qū)版用戶社區(qū)版不再更新Cloudera(Cloudera和Hortonworks合并后)所有產(chǎn)品不再提供社區(qū)版,用戶無(wú)法獲取新的功能。社區(qū)版不再免費(fèi)2021年1月31日開(kāi)始,所有Cloudera軟件都需要有效的訂閱,且訂
哪些用戶需要遷移

原社區(qū)版用戶
Cloudera(Cloudera 和Hortonworks 合并后)所有產(chǎn)品不再提供社區(qū)版,用戶無(wú)法獲取新的功能。
2021年1月31日開(kāi)始,所有Cloudera軟件都需要有效的訂閱,且訂閱費(fèi)昂貴(50個(gè)節(jié)點(diǎn),一年訂閱費(fèi)50萬(wàn)美元)。
原企業(yè)版用戶
Cloudera 和Hortonworks 合并后推出了新一代大數(shù)據(jù)平臺(tái) CDP,CDH 6和HDP 3將是CDH和HDP的最后企業(yè)版本,用戶無(wú)法繼續(xù)獲取新的功能和性能提升。
至2022年3月份,CDH/HDP全部EoS,用戶沒(méi)辦法獲取售后支持:
來(lái)源:cloudera官網(wǎng)
遷移方向
方向一:CDP
CDP是 Cloudera 和Hortonworks 合并后發(fā)布的新產(chǎn)品,融合原來(lái)CDH和HDP能力并增加了一些新功能和BugFix,支持云部署等能力。
雖然CDP提供了一些新能力,也將繼續(xù)更新并提供支持,但外國(guó)的軟件無(wú)法適配國(guó)產(chǎn)軟硬件生態(tài)(國(guó)產(chǎn)芯片、操作系統(tǒng)、服務(wù)器、中間件),技術(shù)方向不能自主可控,許可證也受外國(guó)法律限制,近期俄羅斯事件將這方面風(fēng)險(xiǎn)徹底暴露:
3月3日,Oracle發(fā)推文稱:“為了Oracle在全球各地的150000名員工的利益,為了支持烏克蘭民選政府和烏克蘭人民,Oracle公司已經(jīng)暫停了在俄羅斯聯(lián)邦的所有業(yè)務(wù)。
a. 谷歌宣布 Google Pay 在俄羅斯無(wú)限期暫停使用;
b. 蘋果公司除了宣布在俄羅斯停用 Apple Pay 以外,也在俄羅斯境內(nèi)停止所有產(chǎn)品的銷售
c. 英特爾、戴爾、AMD 宣布向俄羅斯斷供芯片
d. ……
外媒消息稱,全球第一代代碼托管平臺(tái)GitHub 正在考慮限制俄羅斯開(kāi)發(fā)人員使用開(kāi)源軟件。盡管此類軟件的使用是免費(fèi)的,但它的許可協(xié)議仍然存在諸多限制,包括禁止受制裁的國(guó)家使用原本對(duì)公眾免費(fèi)開(kāi)放的代碼。
方向二:國(guó)內(nèi)封裝的Hadoop商業(yè)版
對(duì)開(kāi)源組件進(jìn)行封裝,安裝部署運(yùn)維方面有一些增強(qiáng)。
但是不可避免的,封裝開(kāi)源組件始終是受制于國(guó)外法律與國(guó)際形勢(shì),風(fēng)險(xiǎn)與方向一遷移到CDP相當(dāng)。
同時(shí),對(duì)開(kāi)源組件進(jìn)行封裝的廠商無(wú)法獲取最新的源代碼。另外,很多人認(rèn)為有源代碼就可以自主可控,實(shí)際代碼只是一個(gè)技術(shù)的載體,僅僅擁有源代碼并不代表?yè)碛泻诵募夹g(shù),數(shù)千萬(wàn)行代碼里掃清有意無(wú)意的漏洞根本不現(xiàn)實(shí),擁抱開(kāi)源的同時(shí)也一定擁抱了風(fēng)險(xiǎn)。
隨著美國(guó)公司Cloudera不再更新社區(qū)版,這一類產(chǎn)品將無(wú)法獲得能力更新,除非也升級(jí)到CDP,完全走向方向一。
方向三:國(guó)內(nèi)自主研發(fā)大數(shù)據(jù)產(chǎn)品TDH
Transwarp Data Hub(TDH)是星環(huán)科技自主研發(fā)的企業(yè)級(jí)一站式多模型大數(shù)據(jù)基礎(chǔ)平臺(tái),采用領(lǐng)先的多模型技術(shù)架構(gòu),8種存儲(chǔ)引擎支持10種數(shù)據(jù)模型,成套的工具組件讓系統(tǒng)的安裝部署、擴(kuò)容升級(jí)、安全防衛(wèi)、風(fēng)險(xiǎn)告警、權(quán)限管理等工作變得更便捷。在技術(shù)領(lǐng)先性、性能、易用性、安全性、國(guó)產(chǎn)化生態(tài)兼容性,以及售后服務(wù)等諸多方面具有優(yōu)勢(shì)。同時(shí),國(guó)產(chǎn)自主研發(fā)的TDH對(duì)國(guó)產(chǎn)化生態(tài)具有高度兼容性,滿足信創(chuàng)驗(yàn)收要求。
遷移到不同平臺(tái)后獲得的能力
遷移到國(guó)產(chǎn)自主研發(fā)大數(shù)據(jù)產(chǎn)品TDH
TDH的多模架構(gòu),支持關(guān)系表、文本、時(shí)空地理、圖數(shù)據(jù)、文檔、時(shí)序等在內(nèi)的10種數(shù)據(jù)模型;離線數(shù)據(jù)批處理、高并發(fā)的在線數(shù)據(jù)服務(wù)、數(shù)據(jù)集市、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖、圖存儲(chǔ)分析、空間數(shù)據(jù)存儲(chǔ)、實(shí)時(shí)數(shù)據(jù)處理、數(shù)據(jù)中臺(tái)、數(shù)據(jù)治理等各類大數(shù)據(jù)業(yè)務(wù)場(chǎng)景一站解決。
TDH自研高性能分布式計(jì)算和存儲(chǔ)引擎,整體性能是CDP的 5~25倍。
TDH完整支持SQL2003標(biāo)準(zhǔn),支持PLSQL存儲(chǔ)過(guò)程,兼容Oracle、DB2、Teradata等方言,無(wú)需每個(gè)場(chǎng)景一套接口。
TDH提供開(kāi)箱即用的可視化運(yùn)維監(jiān)控、安全管控工具,容器技術(shù)帶來(lái)極致的安裝、升級(jí)、補(bǔ)丁體驗(yàn)。
TDH原廠超過(guò)1100人研發(fā)與支持團(tuán)隊(duì)和超過(guò)3萬(wàn)名星環(huán)科技認(rèn)證的大數(shù)據(jù)工程師,專業(yè)性更強(qiáng),售后無(wú)憂。
TDH提供統(tǒng)一SQL引擎、統(tǒng)一計(jì)算引擎、統(tǒng)一分布式存儲(chǔ)管理、統(tǒng)一資源調(diào)度、統(tǒng)一內(nèi)聯(lián)架構(gòu)高效搞定湖倉(cāng)集一體、HTAP等復(fù)雜場(chǎng)景,無(wú)需平湊組件散裝架構(gòu)。
TDH提供的容器隔離、災(zāi)備、訪問(wèn)控制、聯(lián)邦學(xué)習(xí)、隱私保護(hù)、可信計(jì)算等技術(shù)保障網(wǎng)絡(luò)層、加固層、治理層、流通層全方位數(shù)據(jù)安全。
- 如果你關(guān)注國(guó)產(chǎn)化
TDH完全自研,通過(guò)工信部代碼自主研發(fā)率掃描測(cè)試。同時(shí)TDH完成了與主流信創(chuàng)生態(tài)廠商的適配互認(rèn)工作,滿足信創(chuàng)驗(yàn)收要求。
遷移到CDP
遷移方向的對(duì)比分析
以下分別從兼容性、技術(shù)領(lǐng)先性、性能、易用性、穩(wěn)定性、災(zāi)備與可靠性、安全性、自主可控、國(guó)產(chǎn)生態(tài)、解決方案、售后服務(wù)等多方面對(duì)比各遷移方向,供用戶參考。
兼容性
兼容性,直接決定遷移成本。很多客戶認(rèn)為CDP是CDH/HDP的高版本,應(yīng)可以平滑升級(jí),基于開(kāi)源整合的產(chǎn)品,也可以平滑升級(jí),而TDH是國(guó)內(nèi)自主研發(fā)的大數(shù)據(jù)產(chǎn)品,兼容性不好,升級(jí)成本高,其實(shí)不然。
1) CDH 5升級(jí)CDP有嚴(yán)重組件版本兼容性問(wèn)題, 包括 sentry 換成ranger,Hive2 升級(jí)到 Hive3,升級(jí)對(duì)組件的兼容性影響大;
2) 例如:某客戶CDH5升級(jí)到CDP的升級(jí)時(shí)間長(zhǎng)達(dá)數(shù)月之久。
1) 基礎(chǔ)存儲(chǔ)和計(jì)算組件同樣有兼容性問(wèn)題;
2) CDH安全、運(yùn)維管理等不開(kāi)源組件和功能無(wú)法升級(jí),且目前沒(méi)有很好解決方案。
1) TDH基礎(chǔ)存儲(chǔ)和計(jì)算組件兼容CDH/HDP,遷移成本低;
2) TDH提供遷移工具,數(shù)據(jù)一鍵遷移;
3) 大量遷移成功案例,不存在遷移風(fēng)險(xiǎn)。
技術(shù)領(lǐng)先性
TDH產(chǎn)品技術(shù)始終領(lǐng)先于同類型產(chǎn)品2~3年,在大數(shù)據(jù)技術(shù)領(lǐng)域較早實(shí)現(xiàn)多項(xiàng)技術(shù)突破,例如2015年TDH4.0就完整支持分布式事務(wù),同類型如Hive在多年后任然不能很好支持;2016年發(fā)布的TDH5.0推出新一代資源管理與調(diào)度技術(shù),將容器技術(shù)和大數(shù)據(jù)技術(shù)有效結(jié)合,提供有效的資源隔離技術(shù)同時(shí)帶來(lái)極致的安裝和升級(jí)體驗(yàn),Cloudera 2020年也計(jì)劃相關(guān)產(chǎn)品使用這一解決方案;2020年TDH 7.0推出了創(chuàng)新的多模技術(shù)架構(gòu),實(shí)現(xiàn)了通過(guò)統(tǒng)一SQL引擎對(duì)關(guān)系型、文本、圖數(shù)據(jù)、時(shí)空、時(shí)序等數(shù)據(jù)模型進(jìn)行操作,在行業(yè)內(nèi)處于先進(jìn)水平。
星環(huán)科技TDH多模型數(shù)據(jù)管理平臺(tái)技術(shù)架構(gòu)圖
星環(huán)科技長(zhǎng)期在大數(shù)據(jù)基礎(chǔ)軟件研發(fā)與產(chǎn)品化過(guò)程中自主研發(fā)形成了一系列先進(jìn)的核心技術(shù),這支撐了TDH產(chǎn)品的先進(jìn)性,也在金融、政府、能源、交通、制造業(yè)等國(guó)民經(jīng)濟(jì)重點(diǎn)領(lǐng)域中得到廣泛應(yīng)用。隨著公司研發(fā)投入大幅提升,未來(lái)星環(huán)TDH將持續(xù)保持技術(shù)領(lǐng)先的優(yōu)勢(shì)。
性能提升
- TDH(Inceptor)整體性能是CDP(Hive on Tez)的5X
Inceptor 是星環(huán)科技自主研發(fā)的關(guān)系型分析引擎,基于TPCDS 1TB的數(shù)據(jù)規(guī)模,同等配置下(4X10cores)TDH(Inceptor)和CDP(Hive on Tez)進(jìn)行性能對(duì)比,復(fù)雜場(chǎng)景有7~25X性能提升。
- TDH(Hyperbase)性能優(yōu)于CDP(Hbase)
Hyperbase是星環(huán)科技自主研發(fā)的NoSQL寬表數(shù)據(jù)庫(kù),基于1000W條的數(shù)據(jù)集,TDH(Hyperbase)性能優(yōu)于CDP(Hbase)。
- TDH(ArgoDB)性能是CDP(Impala)的2~6X
ArgoDB是星環(huán)科技自主研發(fā)的分布式關(guān)系型數(shù)據(jù)庫(kù),基于TPCDS 1TB的數(shù)據(jù)規(guī)模,同等配置下(4X10cores)TDH(ArgoDB)和CDP(Impala)進(jìn)行Ad Hoc查詢性能對(duì)比情況,具體性能對(duì)比如圖所示:
基于TPC-H 1TB的數(shù)據(jù)規(guī)模,同等配置下,基于不同的查詢分析場(chǎng)景下,TDH(ArgoDB)性能是CDP(Impala)的2~6X。
- TDH(Slipstream) 優(yōu)于CDP(Flink)
Slipstream是星環(huán)科技自主研發(fā)的實(shí)時(shí)流計(jì)算引擎,在多場(chǎng)景上性能整體優(yōu)于CDP(Flink)。
- TDH(Scope) 優(yōu)于Elastic Search
星環(huán)科技全文搜索引擎 Scope吞吐量測(cè)試性能上優(yōu)于ES。
易用性
CDP/開(kāi)源封裝產(chǎn)品使用一系列孤立的SQL 引擎, 如Apache SparkSQL、Apache Hive、Phoenix(SQL on Hbase)、Cloudera Impala等。每個(gè)SQL 引擎都有各自的局限性,使得用戶難于學(xué)習(xí)掌握,開(kāi)發(fā)使用、應(yīng)用對(duì)接、實(shí)際落地、事后運(yùn)維方面成本高。
星環(huán)科技TDH采用自研統(tǒng)一計(jì)算引擎,提供統(tǒng)一SQL接口處理,支持SQL 2003標(biāo)準(zhǔn)與存儲(chǔ)過(guò)程,并且支持Oracle/DB2/Teradata 等SQL 方言。
此外,統(tǒng)一引擎另一個(gè)好處是,各類存儲(chǔ)的數(shù)據(jù)可以在一個(gè)作業(yè)(如一個(gè)SQL語(yǔ)句)中,被抽取到統(tǒng)一引擎中進(jìn)行分布式計(jì)算,而無(wú)需開(kāi)發(fā)人員自己寫分布式代碼,從各個(gè)引擎中讀取數(shù)據(jù)再加工。整個(gè)易用性、開(kāi)發(fā)效率和運(yùn)行效率都提高很多。
TDH的多模型支持特性可輕松勝任復(fù)雜場(chǎng)景。通過(guò)8種獨(dú)立的存儲(chǔ)引擎,支持業(yè)界主流的10種存儲(chǔ)模型:關(guān)系型數(shù)據(jù)存儲(chǔ)、寬表存儲(chǔ)、搜索引擎、地理空間 存儲(chǔ)、圖存儲(chǔ)、鍵值存儲(chǔ)、事件存儲(chǔ)、時(shí)序存儲(chǔ)、文本存儲(chǔ)、對(duì)象存儲(chǔ)。在一個(gè)數(shù)據(jù)庫(kù)中同時(shí)支持多種數(shù)據(jù)模型(例如關(guān)系表、文本和圖片),可以避免分庫(kù)分表,簡(jiǎn)化了應(yīng)用的設(shè)計(jì),支持直接高速存儲(chǔ)、檢索和統(tǒng)計(jì)多模型的數(shù)據(jù)。
CDP/開(kāi)源封裝產(chǎn)品通過(guò)多個(gè)互相獨(dú)立的組件提供相應(yīng)的能力,復(fù)雜場(chǎng)景需要多個(gè)組件+數(shù)據(jù)冗余完成,中間的開(kāi)發(fā)和運(yùn)維十分不便。
TDH提供SQL開(kāi)發(fā)工具、輕量級(jí)ETL工具、數(shù)據(jù)調(diào)度工作流工具、圖形化數(shù)據(jù)建模工具、交互式分析與Cube設(shè)計(jì)工具、元數(shù)據(jù)管理工具、可視化報(bào)表、大數(shù)據(jù)治理工具、災(zāi)備工具等大量易用性工具。
穩(wěn)定性
星環(huán)科技TDH自研的計(jì)算引擎Quark擁有:
1) 分布式調(diào)度算法Furion Scheduler,支持task級(jí)別調(diào)度能力,相比CDP/開(kāi)源封裝產(chǎn)品Task set級(jí)別調(diào)度,在業(yè)務(wù)混合負(fù)載并發(fā)高效果和穩(wěn)定性更好,不會(huì)出現(xiàn)一個(gè)大任務(wù)占滿資源把引擎跑崩,集群規(guī)模大情況下表現(xiàn)尤為明顯;
2) Shuffle過(guò)程內(nèi)存控制技術(shù),當(dāng)數(shù)據(jù)量超過(guò)一定閥值時(shí)中間結(jié)果會(huì)spill到磁盤,不會(huì)出現(xiàn)OOM情況;
3) 聚合采樣技術(shù),當(dāng)聚合率不高或者占用內(nèi)存太多時(shí),會(huì)放棄預(yù)聚合,直接shuffle,來(lái)保證引擎穩(wěn)定性;
4) Server級(jí)別HA,不存在server 單點(diǎn)故障;
5) Task重試機(jī)制,task級(jí)別重試使得大任務(wù)重試代價(jià)小,不會(huì)出現(xiàn)一個(gè)大任務(wù)不斷重試把引擎跑崩情況;
6) 計(jì)算引擎保護(hù)機(jī)制,在特別情況如誤提交超大表笛卡爾積計(jì)算任務(wù),引擎會(huì)直接拒絕執(zhí)行SQL,進(jìn)一步保護(hù)計(jì)算引擎,保證穩(wěn)定性;
7) 分布式Checkpoint容錯(cuò)機(jī)制,相比ACK機(jī)制,效率和穩(wěn)定性更優(yōu)。
星環(huán)科技TDH在存儲(chǔ)層面具備:
1) 小文件自動(dòng)合并技術(shù),同等數(shù)據(jù)量情況下,文件數(shù)遠(yuǎn)少于CDP/開(kāi)源封裝產(chǎn)品,大數(shù)據(jù)量情況下穩(wěn)定性高;
2) 堆外內(nèi)存技術(shù),單機(jī)容量得到提升,同時(shí)避免full GC導(dǎo)致的集群穩(wěn)定性問(wèn)題,如Scope穩(wěn)定運(yùn)行單機(jī)容量可達(dá)50TB,而CDP/開(kāi)源ES上限只有10TB;
3) 分布式Raft協(xié)議,支持集群規(guī)模更大更穩(wěn)定,如ArgoDB可穩(wěn)定支持2000+節(jié)點(diǎn)集群,可以根據(jù)企業(yè)需求線性擴(kuò)容,支持PB級(jí)數(shù)據(jù)存儲(chǔ);而CDP(Kudu)單集群最大規(guī)模不超過(guò)100個(gè)存儲(chǔ)節(jié)點(diǎn),單節(jié)點(diǎn)超過(guò)8T存儲(chǔ)就會(huì)不穩(wěn)定;
除此之外,自研的讀寫分離技術(shù)、索引技術(shù)、壞盤處理技術(shù)等,配合全流程監(jiān)控告警能力, 讓TDH支持系統(tǒng)7*24小時(shí)穩(wěn)定運(yùn)行。
這些能力是CDP/開(kāi)源封裝產(chǎn)品不具備的,因而在文件數(shù)多、數(shù)據(jù)量大、任務(wù)并發(fā)高、集群規(guī)模大的情況下,TDH整體穩(wěn)定性遠(yuǎn)超CDP/開(kāi)源封裝產(chǎn)品。
災(zāi)備與可靠性
TDH有數(shù)據(jù)同步備份工具,原廠級(jí)組件支持,基于數(shù)據(jù)塊級(jí)別復(fù)制數(shù)據(jù)備份效率高、代價(jià)低,支持熱備、溫備、冷備等多種數(shù)據(jù)備份模式,支持全量備份/全量同步/增量同步,開(kāi)放接口供其他工具或應(yīng)用調(diào)用,具有全流程可視化界面。
CDP/開(kāi)源封裝產(chǎn)品目前主要還是依賴多副本機(jī)制保障集群內(nèi)數(shù)據(jù)可靠性,異地容災(zāi)沒(méi)有高效方案,只能做到HDFS的數(shù)據(jù)拷貝,效率低、代價(jià)大。
安全性
星環(huán)科技TDH提供了大數(shù)據(jù)安全合規(guī)能力,在企業(yè)構(gòu)建大數(shù)據(jù)能力的同時(shí),確保數(shù)據(jù)業(yè)務(wù)的安全合規(guī)。平臺(tái)基于敏感識(shí)別與分類分級(jí),幫助企業(yè)實(shí)現(xiàn)大數(shù)據(jù)資產(chǎn)的分類管理,分級(jí)保護(hù)。支持多種數(shù)據(jù)安全防護(hù)能力,包括靜態(tài)脫敏、動(dòng)態(tài)脫敏、數(shù)據(jù)水印,加強(qiáng)了數(shù)據(jù)業(yè)務(wù)事中控制能力。平臺(tái)還支持以數(shù)據(jù)為中心的監(jiān)測(cè)與審計(jì)能力,能識(shí)別敏感數(shù)據(jù)操作并進(jìn)行用戶實(shí)體行為分析,能及時(shí)進(jìn)行告警,提供事后可查溯源的能力。
CDP/開(kāi)源封裝產(chǎn)品不具備這些能力。
自主研發(fā)
自主可控方面TDH有絕對(duì)優(yōu)勢(shì),TDH產(chǎn)品通過(guò)工信部自主代碼掃描測(cè)試。
CDP完全是國(guó)外軟件,不可控,國(guó)產(chǎn)軟硬支持不好。
開(kāi)源封裝產(chǎn)品依賴開(kāi)源,不能自主可控,很多組件受美國(guó)法律限制,不能規(guī)避“被制裁”風(fēng)險(xiǎn)。部分產(chǎn)品有l(wèi)icense風(fēng)險(xiǎn),如ES已經(jīng)改開(kāi)源license策略了,后續(xù)商用存在一定的風(fēng)險(xiǎn)。
國(guó)產(chǎn)生態(tài)
星環(huán)科技TDH已完成與主流信創(chuàng)生態(tài)廠商的適配互認(rèn)工作,適配長(zhǎng)城飛騰、華為泰山、浪潮等服務(wù)器,鯤鵬、飛騰CPU,麒麟、統(tǒng)信等OS,并有官方認(rèn)證,支持基于ARM與X86服務(wù)器服務(wù)器混合部署并有落地案例,滿足信創(chuàng)驗(yàn)收要求。CDP在國(guó)產(chǎn)化服務(wù)器、CPU、GPU資源池化、操作系統(tǒng)等方面支持能力不足,無(wú)法很好地滿足國(guó)產(chǎn)生態(tài)。
在國(guó)產(chǎn)生態(tài)方面,TDH已經(jīng)有非常多落地案例,并且性能提升明顯。在不同指令集的CPU架構(gòu)均表現(xiàn)出優(yōu)異的性能,如ARM(鯤鵬)和X86(海光)在CPU密集型計(jì)算和IO密集型計(jì)算上性能提升顯著。
解決方案
星環(huán)科技TDH統(tǒng)一內(nèi)聯(lián)大數(shù)據(jù)底座優(yōu)于CDP/開(kāi)源封裝產(chǎn)品的散裝數(shù)據(jù)底座。
CDP/開(kāi)源封裝產(chǎn)品,每個(gè)場(chǎng)景需要一個(gè)組件獨(dú)立交付,開(kāi)發(fā)語(yǔ)言和接口基本完全不同,客戶新業(yè)務(wù)開(kāi)發(fā)、業(yè)務(wù)需求變更成本極高。
售后服務(wù)
TDH的產(chǎn)品提供方星環(huán)科技是國(guó)內(nèi)廠商,具有非常強(qiáng)大的研發(fā)、技術(shù)支持與服務(wù)能力,可以快速響應(yīng)客戶定制化需求,提供強(qiáng)大的原廠售后服務(wù)保障能力。
CDP的產(chǎn)品提供方Cloudera依靠國(guó)內(nèi)代理商提供銷售并提供實(shí)施、運(yùn)維服務(wù);Cloudera在國(guó)內(nèi)主要是運(yùn)維人員,沒(méi)有原廠技術(shù)研發(fā)人員,很難保障SLA。由于支持不到位,很多國(guó)內(nèi)CDH企業(yè)版客戶已經(jīng)購(gòu)買了或者希望購(gòu)買星環(huán)科技技術(shù)人員提供技術(shù)保障。
某開(kāi)源封裝產(chǎn)品對(duì)營(yíng)運(yùn)商客戶采用直銷方式,其他客戶一律采用渠道銷售方式,大部分行業(yè)原廠售后服務(wù)保障能力較低。其產(chǎn)品核心研發(fā)團(tuán)隊(duì)較少,大部分技術(shù)人員在處理各類開(kāi)源技術(shù)Bug及客戶問(wèn)題遠(yuǎn)程技術(shù)支持,專業(yè)性不足。
遷移案例
某通信集團(tuán)
該集團(tuán)核心業(yè)務(wù)系統(tǒng)存量數(shù)據(jù)10PB級(jí)別,每日增量數(shù)TB,批處理作業(yè)數(shù)千個(gè),數(shù)據(jù)量大,業(yè)務(wù)價(jià)值高。
原有系統(tǒng)使用CDH+Oracle混合架構(gòu),CDH 有近200節(jié)點(diǎn),主要承擔(dān)數(shù)據(jù)批處理加工,Oracle對(duì)接上層應(yīng)用,CDH散裝架構(gòu)和CDH+Oracle混合架構(gòu)帶給客戶巨大的開(kāi)發(fā)運(yùn)維成本,同時(shí)批處理性能、穩(wěn)定性和安全性也無(wú)法滿足客戶數(shù)據(jù)增長(zhǎng)需求。
最終星環(huán)科技在項(xiàng)目一期用TDH成功遷移了客戶CDH+Oracle混合架構(gòu)的數(shù)據(jù)平臺(tái),“一個(gè)頂兩”,并且數(shù)據(jù)稽核、聯(lián)邦計(jì)算、資源調(diào)度、安全性、高可用、易用性等關(guān)鍵能力得到增強(qiáng),真正實(shí)現(xiàn)“降本增效”。
遷移全程用時(shí)6個(gè)月不到,充分體現(xiàn)了TDH對(duì)CDH的兼容性,以及Oracle方言和存儲(chǔ)過(guò)程支持能力。
隨著一些新應(yīng)用上線,目前TDH集群生產(chǎn)環(huán)境擴(kuò)容至近200個(gè)節(jié)點(diǎn),直接對(duì)接經(jīng)營(yíng)分析、計(jì)費(fèi)、客服、賬務(wù)、結(jié)算等系統(tǒng)。
某航空公司
該航空公司原來(lái)使用HDP+Oracle混合架構(gòu)建設(shè)企業(yè)數(shù)據(jù)平臺(tái),涉及流處理、批處理、高并發(fā)查詢等技術(shù)場(chǎng)景。
客戶部署了幾十個(gè)節(jié)點(diǎn)的HDP集群,但是散裝架構(gòu)帶給客戶巨大的開(kāi)發(fā)運(yùn)維成本,同時(shí)性能、實(shí)時(shí)性和穩(wěn)定性也無(wú)法滿足客戶需求。
最終星環(huán)科技一期項(xiàng)目用TDH成功遷移了客戶HDP集群,由于TDH對(duì)HDP的兼容性高,全部數(shù)據(jù)+業(yè)務(wù)遷移不到5個(gè)月時(shí)間(包含1個(gè)月并行運(yùn)行測(cè)試)。
當(dāng)前TDH集群近百個(gè)節(jié)點(diǎn),TDH極好的SQL和Oracle方言支持讓客戶上線了很多新應(yīng)用。