一、數(shù)據(jù)架構(gòu)與開發(fā)?
1.負(fù)責(zé)企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)的ETL/ELT流程設(shè)計(jì)、開發(fā)及優(yōu)化,支撐核心業(yè)務(wù)數(shù)據(jù)模型建設(shè)
2.使用Kettle等工具實(shí)現(xiàn)異構(gòu)數(shù)據(jù)源(DB/API/日志文件)的高效清洗、轉(zhuǎn)換與加載
3.編寫高性能SQL腳本,進(jìn)行復(fù)雜數(shù)據(jù)邏輯處理及存儲(chǔ)過(guò)程開發(fā),確保數(shù)據(jù)處理時(shí)效性與準(zhǔn)確性
?二、BI系統(tǒng)支撐?
1.基于帆軟(FineReport)等BI平臺(tái)開發(fā)數(shù)據(jù)報(bào)表及可視化看板,響應(yīng)業(yè)務(wù)部門的分析需求
2.設(shè)計(jì)可配置化報(bào)表體系,實(shí)現(xiàn)核心業(yè)務(wù)指標(biāo)(用戶行為/交易/運(yùn)營(yíng))的自動(dòng)化監(jiān)控
?三、埋點(diǎn)數(shù)據(jù)體系構(gòu)建?
1.主導(dǎo)用戶行為埋點(diǎn)方案設(shè)計(jì),制定數(shù)據(jù)采集規(guī)范及報(bào)文協(xié)議(JSON/ProtoBuf等)
2.協(xié)同前后端團(tuán)隊(duì)實(shí)施埋點(diǎn)代碼部署,通過(guò)數(shù)據(jù)驗(yàn)證保障埋點(diǎn)數(shù)據(jù)質(zhì)量與一致性
3.構(gòu)建用戶行為分析基礎(chǔ)數(shù)據(jù)層,支撐用戶畫像、路徑分析等深度挖掘場(chǎng)景
四、?數(shù)據(jù)資產(chǎn)治理?
1.建立數(shù)據(jù)血緣追蹤機(jī)制,監(jiān)控關(guān)鍵數(shù)據(jù)流水線健康狀態(tài)
2.制定數(shù)據(jù)質(zhì)量校驗(yàn)規(guī)則,定位并解決數(shù)據(jù)異常問題
?
必備技能要求?
?一、崗位技能
? 精通SQL編寫及性能調(diào)優(yōu)(窗口函數(shù)/索引優(yōu)化)
? 熟練使用Kettle/Talend等ETL工具,具備流程調(diào)度、錯(cuò)誤處理等實(shí)戰(zhàn)經(jīng)驗(yàn)
? 有BI報(bào)表開發(fā)全流程經(jīng)驗(yàn)
? 掌握埋點(diǎn)設(shè)計(jì)方法論,能獨(dú)立輸出包含事件定義、字段規(guī)范、測(cè)試方案的埋點(diǎn)文檔
? 了解分布式數(shù)據(jù)技術(shù)棧(Hadoop/Spark/Flink 至少一種)
?關(guān)鍵認(rèn)知?
? 理解數(shù)據(jù)分層架構(gòu)(ODS-DWD-DWS-ADS)及維度建模方法論
? 熟悉互聯(lián)網(wǎng)常用埋點(diǎn)技術(shù)方案(前端代碼埋點(diǎn)/全埋點(diǎn)/可視化埋點(diǎn))
? 具備業(yè)務(wù)視角,能將分析需求轉(zhuǎn)化為數(shù)據(jù)開發(fā)解決方案
?二、優(yōu)先考慮條件?
1.有用戶行為分析系統(tǒng)(如火山/神策)對(duì)接經(jīng)驗(yàn)
2.熟悉Python/Shell腳本開發(fā),具備自動(dòng)化運(yùn)維能力
3.主導(dǎo)過(guò)數(shù)據(jù)治理相關(guān)項(xiàng)目(元數(shù)據(jù)/數(shù)據(jù)質(zhì)量)
?三、團(tuán)隊(duì)協(xié)作要求?
1.與數(shù)據(jù)產(chǎn)品經(jīng)理協(xié)作完成需求評(píng)審與技術(shù)方案設(shè)計(jì)
2.指導(dǎo)初級(jí)開發(fā)人員解決技術(shù)問題
3.撰寫清晰的技術(shù)文檔及操作手冊(cè).