崗位職責
1.架構(gòu)設(shè)計與規(guī)劃:設(shè)計和規(guī)劃數(shù)據(jù)中臺的整體技術(shù)架構(gòu),包括數(shù)據(jù)采集、存儲、計算、治理、服務(wù)等模塊,制定中長期技術(shù)演進路線。
2.技術(shù)選型與評估:深入理解業(yè)務(wù)需求,評估和選擇適合企業(yè)需求的大數(shù)據(jù)技術(shù)棧(如Hadoop、Spark、Flink、Kafka、Hive、DataX、Airflow等),確保技術(shù)方案的先進性與穩(wěn)定性。
3.核心系統(tǒng)設(shè)計:主導數(shù)據(jù)倉庫/數(shù)據(jù)湖分層架構(gòu)設(shè)計、數(shù)據(jù)建模(維度建模、Data Vault等)、元數(shù)據(jù)管理、數(shù)據(jù)血緣、數(shù)據(jù)質(zhì)量體系等核心系統(tǒng)的架構(gòu)設(shè)計。
4.平臺集成與對接:設(shè)計并實現(xiàn)數(shù)據(jù)中臺與各業(yè)務(wù)系統(tǒng)、外部數(shù)據(jù)源、數(shù)據(jù)應(yīng)用之間的集成方案,支持跨系統(tǒng)、跨網(wǎng)絡(luò)的數(shù)據(jù)安全引接與服務(wù)輸出。
5.數(shù)據(jù)治理架構(gòu):構(gòu)建數(shù)據(jù)標準、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、主數(shù)據(jù)管理等治理體系的技術(shù)架構(gòu),推動數(shù)據(jù)資產(chǎn)化落地。
6.性能與穩(wěn)定性保障:優(yōu)化數(shù)據(jù)處理性能,設(shè)計高并發(fā)、低延遲的數(shù)據(jù)服務(wù)架構(gòu),確保平臺的高可用性與容災能力。
7.團隊指導與協(xié)作:指導開發(fā)、運維、數(shù)據(jù)治理團隊理解并實施架構(gòu)方案,組織技術(shù)評審,解決關(guān)鍵技術(shù)難題。
8.國產(chǎn)化適配:主導或參與數(shù)據(jù)中臺在國產(chǎn)化硬件、操作系統(tǒng)、數(shù)據(jù)庫等信創(chuàng)環(huán)境下的適配與優(yōu)化工作。
9.技術(shù)前瞻與創(chuàng)新:跟蹤大數(shù)據(jù)、數(shù)據(jù)湖、湖倉一體、DataOps、AI融合等前沿技術(shù),推動技術(shù)創(chuàng)新與落地。
任職要求
1.計算機、軟件工程、信息技術(shù)或相關(guān)專業(yè)本科及以上學歷,5年以上大數(shù)據(jù)平臺開發(fā)或架構(gòu)經(jīng)驗,3年以上數(shù)據(jù)中臺項目架構(gòu)經(jīng)驗。
2.精通主流大數(shù)據(jù)技術(shù)棧(Hadoop生態(tài)、Spark、Flink、Kafka等),熟悉數(shù)據(jù)倉庫建模理論與實踐。
3.具備百萬級企業(yè)數(shù)據(jù)中臺或數(shù)據(jù)平臺整體架構(gòu)設(shè)計交付案例,熟悉數(shù)據(jù)采集、清洗、存儲、計算、服務(wù)全流程。
4.深入理解數(shù)據(jù)治理核心領(lǐng)域(元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)標準、數(shù)據(jù)安全)的技術(shù)實現(xiàn)方案。
5.熟悉微服務(wù)架構(gòu)、API網(wǎng)關(guān)、容器化(Docker/K8s)、云原生技術(shù),具備平臺化、服務(wù)化設(shè)計能力。
6.具備良好的溝通協(xié)調(diào)能力、系統(tǒng)思維,能夠推動團隊技術(shù)落地。
7.具備較強的技術(shù)文檔編寫能力,能清晰表達復雜技術(shù)方案。