我們正在尋找一名熱愛(ài)數(shù)據(jù)挖掘和信息收集的爬蟲(chóng)工程師加入我們的團(tuán)隊(duì)。作為一名爬蟲(chóng)工程師,你將負(fù)責(zé)設(shè)計(jì)、開(kāi)發(fā)和維護(hù)各種爬蟲(chóng)程序,并使用這些程序從互聯(lián)網(wǎng)上提取所需的數(shù)據(jù)。你需要具備扎實(shí)的編程技能和對(duì)互聯(lián)網(wǎng)技術(shù)的深刻理解,能夠快速地適應(yīng)不同的平臺(tái),系統(tǒng)和數(shù)據(jù)源。
崗位職責(zé):
1. 負(fù)責(zé)設(shè)計(jì)和開(kāi)發(fā)高效、可靠的爬蟲(chóng)系統(tǒng),進(jìn)行多平臺(tái),多渠道的信息抓取和分析工作。
2. 分析和優(yōu)化現(xiàn)有的爬蟲(chóng)程序,提高其性能和穩(wěn)定性。
3. 解決爬蟲(chóng),防爬的技術(shù)疑難問(wèn)題,應(yīng)對(duì)不同的爬蟲(chóng)及防爬方案,提升數(shù)據(jù)抓取的效率和質(zhì)量。
4. 根據(jù)需要撰寫(xiě)相關(guān)文檔和技術(shù)報(bào)告,分享技術(shù)經(jīng)驗(yàn)和心得體會(huì)。
崗位要求:
1. 本科及以上學(xué)歷,在計(jì)算機(jī)科學(xué)、軟件工程或相關(guān)領(lǐng)域擁有扎實(shí)的基礎(chǔ)知識(shí)。
2. 具備至少3年的爬蟲(chóng)開(kāi)發(fā)經(jīng)驗(yàn),能夠獨(dú)立完成爬蟲(chóng)程序的設(shè)計(jì)和開(kāi)發(fā),熟悉爬蟲(chóng)原理和常見(jiàn)的反爬技術(shù)。
3. 精通Python編程語(yǔ)言,熟悉其相關(guān)框架和庫(kù),如Scrapy、Requests、Pandas等。
4. 熟悉常見(jiàn)的web技術(shù),如HTML、CSS、JavaScript等,了解網(wǎng)絡(luò)協(xié)議和數(shù)據(jù)格式,熟悉常見(jiàn)的加解密及混淆加固算法。
5. 熟悉并使用各種爬蟲(chóng)工具和技術(shù),如Scrapy、Beautiful Soup、Selenium等。
6. 具有良好的數(shù)據(jù)分析和處理能力,能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行清洗、挖掘和分析。
7. 具備良好的團(tuán)隊(duì)合作精神、溝通能力和自我驅(qū)動(dòng)力,能夠快速適應(yīng)多變的項(xiàng)目需求。
8. 掌握app加固,脫殼等能力者優(yōu)先。



-
互聯(lián)網(wǎng)·電子商務(wù)
-
200-499人
-
公司性質(zhì)未知
-
安徽省合肥市潛山路新華國(guó)際廣場(chǎng)a座17
-
履約專(zhuān)員(駐場(chǎng)蕪湖)-J520851 面議應(yīng)屆畢業(yè)生 不限中徽機(jī)電科技股份有限公司
-
品管員 5000-7000元應(yīng)屆畢業(yè)生 大專(zhuān)安徽天美食品有限公司
-
光伏項(xiàng)目開(kāi)發(fā)工程師 10000-15000元應(yīng)屆畢業(yè)生 大專(zhuān)合肥中南光電有限公司
-
無(wú)加班急招招生老師 8000-16000元應(yīng)屆畢業(yè)生 大專(zhuān)合肥凱莫職業(yè)培訓(xùn)學(xué)校有限公司
-
中級(jí)品控(A47424) 7000-10000元應(yīng)屆畢業(yè)生 大專(zhuān)明康匯
-
ie工程師 8000-10000元應(yīng)屆畢業(yè)生 本科比亞迪股份有限公司