備注:基于業(yè)務(wù)發(fā)展需要,公司現(xiàn)行工作時(shí)間為:上午8:30--下午18:00,中午休息兩小時(shí),單休狀態(tài)(國(guó)家法定假日正常休息),介意勿投,謝謝理解
崗位職責(zé)
1、電商平臺(tái)數(shù)據(jù)爬取
(1)負(fù)責(zé)設(shè)計(jì)分布式爬蟲系統(tǒng),采集抖、快、拼等電商平臺(tái)的商品信息(訂單信息、店鋪信息、評(píng)論等);
(2)應(yīng)對(duì)反爬機(jī)制(IP封鎖、驗(yàn)證碼、動(dòng)態(tài)加載),使用代理IP、Selenium模擬瀏覽器等技術(shù)突破限制;
(3)優(yōu)化爬蟲性能,包括并行化爬取、數(shù)據(jù)去重、異步IO等技術(shù)提升效率
數(shù)據(jù)清洗與存儲(chǔ):通過(guò)正則表達(dá)式/XPath解析數(shù)據(jù),存MySQL/MongoDB等數(shù)據(jù)庫(kù);
2、參與自動(dòng)化系統(tǒng)(如訂貨單生成、報(bào)表統(tǒng)計(jì)),結(jié)合爬蟲與業(yè)務(wù)需求提升效率;
3、維護(hù)爬蟲服務(wù)器,監(jiān)控任務(wù)調(diào)度與報(bào)警反饋,確保系統(tǒng)穩(wěn)定性
4、有AI智能體開(kāi)發(fā),新媒體推廣智能體與辦公智能體的開(kāi)發(fā)實(shí)施經(jīng)驗(yàn)優(yōu)先考慮;
5.具備數(shù)據(jù)挖掘經(jīng)驗(yàn),能構(gòu)建用戶行為分析或個(gè)性化推薦系統(tǒng)優(yōu)先考慮
任職要求
1、技術(shù)能力
(1)精通Python開(kāi)發(fā),熟悉Scrapy、Requests、Selenium等爬蟲框架;
(2)掌握HTML/CSS/JS解析技術(shù)(XPath、正則表達(dá)式、Beautiful Soup);
(3)熟悉數(shù)據(jù)庫(kù)優(yōu)化(MySQL、MongoDB)及分布式存儲(chǔ)原理;
(4)了解HTTP協(xié)議、抓包工具(Fiddler、Charles)及逆向工程(APP反編譯、JS解密);
2、經(jīng)驗(yàn)要求
(1)5年以上Python開(kāi)發(fā)經(jīng)驗(yàn),3年以上電商數(shù)據(jù)爬取實(shí)戰(zhàn)經(jīng)驗(yàn)
(2)有AI智能體開(kāi)發(fā)經(jīng)驗(yàn)、機(jī)器學(xué)習(xí)或大數(shù)據(jù)處理(Hadoop/Spark)經(jīng)驗(yàn)者優(yōu)先
3.、軟性要求
(1)計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷
(2)良好的編碼規(guī)范,能獨(dú)立解決問(wèn)題并優(yōu)化系統(tǒng)性能
(3)適應(yīng)高強(qiáng)度工作,具備團(tuán)隊(duì)協(xié)作與跨部門溝通能力