工作內(nèi)容:
1.負責(zé)大數(shù)據(jù)系統(tǒng)和數(shù)據(jù)湖的設(shè)計、開發(fā)、搭建及性能優(yōu)化,解決大數(shù)據(jù)組件技術(shù)問題;
2.基于業(yè)務(wù)需求進行數(shù)據(jù)建模及大數(shù)據(jù)作業(yè)開發(fā),確保數(shù)據(jù)完整性致性與安全;
3.負責(zé) Spark 和 Doris 的開發(fā)、調(diào)優(yōu)及性能優(yōu)化,保障批流一體作業(yè)的高效運行;
4.負責(zé) Hadoop、Trino 等大數(shù)據(jù)組件的Flink 、Hive Kafka運維與調(diào)優(yōu),保障大數(shù)據(jù)平臺7*24穩(wěn)定高效運行,推動運維自動化;
5支持部門項目實施,確保安全規(guī)范,并完成相關(guān)文檔記錄。
崗位要求:
1、統(tǒng)招本科及以上學(xué)歷,計算機相關(guān)專業(yè),3年以上大數(shù)據(jù)開發(fā)經(jīng)驗精通 Java 和 SQL ,熱悉 Python/Shell /Scala 等至少一種開發(fā)語言熟悉常用設(shè)計模式;
2、具備扎實的 Spark 開發(fā)與調(diào)優(yōu)能力,熟悉 Spark SQL、SparkStreaming 、內(nèi)存管理與性能優(yōu)化;
3、具備 Doris 實際項目開發(fā)與調(diào)優(yōu)經(jīng)驗,熟悉建模設(shè)計、查詢優(yōu)化及高并發(fā)場景處理;
4、熟悉其他主流大數(shù)據(jù)技術(shù)(Hadoop/Flink/Hive/Kafka/Trino有華為 MRS 或 Hudi 數(shù)據(jù)湖經(jīng)驗者優(yōu)先;
5.責(zé)任心強,具備良好的自驅(qū)力和項目管理意識,能主動思考并及時匯報項目進度與風(fēng)險;