- 目錄
-
第1篇python爬蟲(chóng)工程師職位描述與崗位職責(zé)任職要求 第2篇高級(jí)爬蟲(chóng)工程師職位描述與崗位職責(zé)任職要求 第3篇爬蟲(chóng)工程師職位描述與崗位職責(zé)任職要求 第4篇網(wǎng)絡(luò)爬蟲(chóng)工程師職位描述與崗位職責(zé)任職要求 第5篇爬蟲(chóng)工程師(p6-p8)職位描述與崗位職責(zé)任職要求 第6篇資深爬蟲(chóng)工程師職位描述與崗位職責(zé)任職要求 第7篇數(shù)據(jù)爬蟲(chóng)工程師職位描述與崗位職責(zé)任職要求 第8篇爬蟲(chóng)工程師崗位職責(zé) 第9篇廣告爬蟲(chóng)工程師職位描述與崗位職責(zé)任職要求 第10篇手機(jī)應(yīng)用爬蟲(chóng)工程師職位描述與崗位職責(zé)任職要求
第1篇 手機(jī)應(yīng)用爬蟲(chóng)工程師職位描述與崗位職責(zé)任職要求
職位描述:
_ 負(fù)責(zé)設(shè)計(jì)和開(kāi)發(fā)分布式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)
_ 應(yīng)用多種技術(shù)對(duì)各平臺(tái)進(jìn)行數(shù)據(jù)采集
_ 設(shè)計(jì)數(shù)據(jù)采集策略,提升數(shù)據(jù)采集效率及質(zhì)量
_ 與各行業(yè)分析師溝通,分析項(xiàng)目的可行性和討論抓取方案。
_ 兩年以上爬蟲(chóng)開(kāi)發(fā)相關(guān)經(jīng)驗(yàn),本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè)為佳
_ 熟練掌握c#或java開(kāi)發(fā)語(yǔ)言為佳
_ 了解tcp/ip,http及相關(guān)網(wǎng)絡(luò)協(xié)議
_ 熟悉js / html / _path / json / 正則表達(dá)式等網(wǎng)頁(yè)相關(guān)技術(shù)
_ 熟悉分布式、多線程、緩存、消息隊(duì)列等互聯(lián)網(wǎng)技術(shù)
_ 熟悉手機(jī)應(yīng)用的數(shù)據(jù)抓取,手機(jī)app開(kāi)發(fā)經(jīng)驗(yàn),加/脫殼經(jīng)驗(yàn)為佳
_ 良好的溝通技能,注重細(xì)節(jié),抗壓性強(qiáng)
_ 良好的英語(yǔ)溝通技能為佳
第2篇 廣告爬蟲(chóng)工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、負(fù)責(zé)廣告素材線索和垂直類產(chǎn)品爬蟲(chóng)系統(tǒng)的設(shè)計(jì)、開(kāi)發(fā)
2、抓取數(shù)據(jù)的清洗、落地、分析
3、抓取策略算法的更新維護(hù),以及確保數(shù)據(jù)抽取準(zhǔn)確、高效
任職要求:
1、具備強(qiáng)悍的編碼能力、扎實(shí)的數(shù)據(jù)結(jié)構(gòu)和算法功底
2、 熟悉tcp,http協(xié)議原理;熟悉aja_工作原理;精通python編程,熟悉一種開(kāi)源爬蟲(chóng)框架和源碼;
3、有爬蟲(chóng)、信息抽取、文本分類、大數(shù)據(jù)處理相關(guān)經(jīng)驗(yàn)優(yōu)先
4、有自然語(yǔ)言處理、機(jī)器學(xué)習(xí)經(jīng)驗(yàn)優(yōu)先
第3篇 爬蟲(chóng)工程師職位描述與崗位職責(zé)任職要求
職位描述:
職位誘惑:
全球項(xiàng)目、高薪資、高福利、國(guó)際團(tuán)隊(duì)
職位描述:
if (your_passions.includes('coding')) {
switch(your_stacks) {
case 'node.js':
case 'python':
case 'kubernetes':
case 'serverless':
console.log('join aftership');
break;
}
}
崗位職責(zé)
1、負(fù)責(zé)與不同物流公司的系統(tǒng)對(duì)接,使用各種 api 及爬蟲(chóng)技巧,抓取、分析、調(diào)度、存儲(chǔ)數(shù)據(jù),為公司業(yè)務(wù)提供正確穩(wěn)定的數(shù)據(jù);
2、負(fù)責(zé)系統(tǒng)的 sla 代碼維護(hù)、秩代更新,保證任務(wù)質(zhì)量和交付及時(shí)性;
3、負(fù)責(zé)編寫(xiě)相關(guān)的技術(shù)文檔、單元測(cè)試,對(duì)產(chǎn)品質(zhì)量負(fù)責(zé)。
崗位要求
1、統(tǒng)招本科及以上學(xué)歷,具備英語(yǔ)讀寫(xiě)能力;
2、熟悉 git/github,通信協(xié)議 tcp/http 及 restful 標(biāo)準(zhǔn);
3、一年及以上 python 爬蟲(chóng)開(kāi)發(fā)工作經(jīng)驗(yàn), javascript 基礎(chǔ)扎實(shí),有 scrapy 等使用經(jīng)驗(yàn);
4、有 mysql,redis 或 mongodb 等相關(guān)數(shù)據(jù)庫(kù)使用經(jīng)驗(yàn)。
加分項(xiàng)
1、有 ci/cd 自動(dòng)化測(cè)試經(jīng)驗(yàn);
2、有使用 docker、kubernetes、aws 或 gcp 云計(jì)算經(jīng)驗(yàn);
3、有寫(xiě) blog 的習(xí)慣,活躍技術(shù)社區(qū),參與開(kāi)源項(xiàng)目等;
4、有代碼潔癖,對(duì)代碼精益求精,對(duì)技術(shù)有極客熱情;
5、有軟件著作權(quán)申請(qǐng),有專利發(fā)明申請(qǐng)。
為什么加入我們
1、極客氛圍: 擁抱開(kāi)源技術(shù),實(shí)踐敏捷開(kāi)發(fā);
2、最新技術(shù): kubernetes, serverless, tensorflow, microservice;
3、特色福利: 每天下午茶,學(xué)習(xí)成長(zhǎng)基金, 提供 macbook pro;
4、多元文化: 團(tuán)隊(duì)來(lái)自全球十幾個(gè)國(guó)家;
5、龍頭企業(yè): 海外知名企業(yè);
6、朝陽(yáng)行業(yè): b2b 企業(yè)級(jí)系統(tǒng), 國(guó)際性 saas 平臺(tái)。
第4篇 網(wǎng)絡(luò)爬蟲(chóng)工程師職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1,負(fù)責(zé)網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā)
2,對(duì)爬取的網(wǎng)頁(yè)信息進(jìn)行數(shù)據(jù)抽取,清洗和去重等工作
任職要求:
1、2年及以上網(wǎng)絡(luò)爬蟲(chóng)開(kāi)發(fā)經(jīng)驗(yàn),本科及大專學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè),
2、積極、溝通順暢,工作認(rèn)真負(fù)責(zé)
3、扎實(shí)的編程能力,熟悉常用算法和數(shù)據(jù)結(jié)構(gòu)等基礎(chǔ)知識(shí)
4、熟練掌握開(kāi)發(fā)語(yǔ)言java或c/c++,熟悉腳本語(yǔ)言和正則表達(dá)式
第5篇 python爬蟲(chóng)工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、負(fù)責(zé)設(shè)計(jì)和開(kāi)發(fā)分布式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng),進(jìn)行多平臺(tái)信息的抓取和分析工作;
2、負(fù)責(zé)網(wǎng)頁(yè)信息和app數(shù)據(jù)抽取、清洗、消重等工作,提升平臺(tái)的抓取效率;
3、參與爬蟲(chóng)核心算法和策略優(yōu)化,熟悉采集系統(tǒng)的調(diào)度策略;
4、實(shí)時(shí)監(jiān)控爬蟲(chóng)的進(jìn)度和警報(bào)反饋。
任職要求:
1、有扎實(shí)的算法和數(shù)據(jù)結(jié)構(gòu)能力;
2、熟悉爬蟲(chóng)原理,熟悉常見(jiàn)的反爬蟲(chóng)技術(shù),有爬蟲(chóng)相關(guān)項(xiàng)目開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先;
3、掌握http協(xié)議,熟悉html、dom、_path等常見(jiàn)的數(shù)據(jù)抽取技術(shù);
4、有大規(guī)模數(shù)據(jù)處理、數(shù)據(jù)挖掘、信息提取等經(jīng)驗(yàn)者優(yōu)先。
第6篇 高級(jí)爬蟲(chóng)工程師職位描述與崗位職責(zé)任職要求
職位描述:
崗位職責(zé):
1、參與app爬蟲(chóng)項(xiàng)目的架構(gòu)設(shè)計(jì)、研發(fā)工作,改進(jìn)和提升爬蟲(chóng)效率;
2、攻破各種反爬策略;
3、解決各類技術(shù)疑難問(wèn)題,包括網(wǎng)絡(luò)問(wèn)題、app分析、反編譯等;
4、與大數(shù)據(jù)工程師對(duì)接,完成實(shí)時(shí)數(shù)據(jù)與離線數(shù)據(jù)的爬取與對(duì)接;
任職資格:
1、計(jì)算機(jī)及相關(guān)專業(yè)本科及以上學(xué)歷,兩年以上相關(guān)工作經(jīng)驗(yàn);
2、精通至少一種開(kāi)發(fā)語(yǔ)言,如python、java;
3、熟練掌握一種開(kāi)源爬蟲(chóng)框架,如scrapy、webmagic,有研發(fā)爬蟲(chóng)框架經(jīng)驗(yàn)者優(yōu)先;
4、熟悉appium、selenium等技術(shù);
5、善于獨(dú)立分析并解決核心問(wèn)題,如javascript反爬、爬蟲(chóng)策略、防屏蔽規(guī)則、app爬取、驗(yàn)證碼識(shí)別技術(shù)等;
6、熟悉mysql,?mongodb,?redis,?elasticsearch等數(shù)據(jù)庫(kù);
7、對(duì)爬蟲(chóng)有濃厚的興趣,責(zé)任感強(qiáng),有較好的交流溝通能力和團(tuán)隊(duì)合作能力;
8、有app安全、逆向等領(lǐng)域經(jīng)驗(yàn)的優(yōu)先;
第7篇 爬蟲(chóng)工程師崗位職責(zé)
高級(jí)爬蟲(chóng)開(kāi)發(fā)工程師 職責(zé)描述:
1、負(fù)責(zé)公司產(chǎn)品的爬蟲(chóng)架構(gòu)設(shè)計(jì)與開(kāi)發(fā),以及爬蟲(chóng)策略優(yōu)化等工作;
2、根據(jù)數(shù)據(jù)產(chǎn)品需求,負(fù)責(zé)對(duì)網(wǎng)頁(yè)等大規(guī)模文本數(shù)據(jù)抓取、清洗、存儲(chǔ)等設(shè)計(jì)開(kāi)發(fā)工作;
任職要求:
1、計(jì)算機(jī)、數(shù)學(xué)或統(tǒng)計(jì)等相關(guān)專業(yè)本科及以上學(xué)歷,1年以上爬蟲(chóng)相關(guān)工作經(jīng)驗(yàn);
2、熟悉linu_平臺(tái),熟練掌握python或java爬蟲(chóng)開(kāi)發(fā)工作;
3、熟悉靜態(tài)、動(dòng)態(tài)網(wǎng)頁(yè)等大規(guī)模文本數(shù)據(jù)的高效信息抽取、清洗、存儲(chǔ)等技術(shù);
4、有反爬相關(guān)問(wèn)題處理經(jīng)驗(yàn),精通常用的爬蟲(chóng)技術(shù)及架構(gòu)設(shè)計(jì),并能快速開(kāi)發(fā)實(shí)現(xiàn);
5、具備良好的編程習(xí)慣和算法基礎(chǔ);
6、善于學(xué)習(xí),熱愛(ài)技術(shù)開(kāi)發(fā),善于團(tuán)隊(duì)協(xié)作,能積極主動(dòng)地參與公司產(chǎn)品研發(fā)等相關(guān)工作。 職責(zé)描述:
1、負(fù)責(zé)公司產(chǎn)品的爬蟲(chóng)架構(gòu)設(shè)計(jì)與開(kāi)發(fā),以及爬蟲(chóng)策略優(yōu)化等工作;
2、根據(jù)數(shù)據(jù)產(chǎn)品需求,負(fù)責(zé)對(duì)網(wǎng)頁(yè)等大規(guī)模文本數(shù)據(jù)抓取、清洗、存儲(chǔ)等設(shè)計(jì)開(kāi)發(fā)工作;
任職要求:
1、計(jì)算機(jī)、數(shù)學(xué)或統(tǒng)計(jì)等相關(guān)專業(yè)本科及以上學(xué)歷,1年以上爬蟲(chóng)相關(guān)工作經(jīng)驗(yàn);
2、熟悉linu_平臺(tái),熟練掌握python或java爬蟲(chóng)開(kāi)發(fā)工作;
3、熟悉靜態(tài)、動(dòng)態(tài)網(wǎng)頁(yè)等大規(guī)模文本數(shù)據(jù)的高效信息抽取、清洗、存儲(chǔ)等技術(shù);
4、有反爬相關(guān)問(wèn)題處理經(jīng)驗(yàn),精通常用的爬蟲(chóng)技術(shù)及架構(gòu)設(shè)計(jì),并能快速開(kāi)發(fā)實(shí)現(xiàn);
5、具備良好的編程習(xí)慣和算法基礎(chǔ);
6、善于學(xué)習(xí),熱愛(ài)技術(shù)開(kāi)發(fā),善于團(tuán)隊(duì)協(xié)作,能積極主動(dòng)地參與公司產(chǎn)品研發(fā)等相關(guān)工作。
第8篇 爬蟲(chóng)工程師(p6-p8)職位描述與崗位職責(zé)任職要求
職位描述:
崗位職責(zé):
1.負(fù)責(zé)網(wǎng)絡(luò)爬蟲(chóng)的架構(gòu)設(shè)計(jì)、開(kāi)發(fā)與優(yōu)化;
2.負(fù)責(zé)抓取數(shù)據(jù)的清洗、落地、分析;
3.抓取策略算法的更新維護(hù),以及確保數(shù)據(jù)抽取準(zhǔn)確、高效。
任職要求:
1.兩年及以上互聯(lián)網(wǎng)或軟件行業(yè)工作經(jīng)驗(yàn);
2.理解 http 協(xié)議,熟悉 html、dom、_path;
3.熟悉 linu_ 開(kāi)發(fā)環(huán)境,至少熟悉 python/go/java/node.js 中的一種編程語(yǔ)言;
4.有爬蟲(chóng)、信息抽取、文本分類、大數(shù)據(jù)處理相關(guān)經(jīng)驗(yàn)優(yōu)先;
5.有自然語(yǔ)言處理、機(jī)器學(xué)習(xí)經(jīng)驗(yàn)優(yōu)先;
6.熟悉瀏覽器內(nèi)核、渲染機(jī)制優(yōu)先;
7.工作認(rèn)真,細(xì)心,有條理,積極性高;良好的溝通能力及團(tuán)隊(duì)合作精神。
第9篇 資深爬蟲(chóng)工程師職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1. 參與爬蟲(chóng)系統(tǒng)的架構(gòu)設(shè)計(jì)與開(kāi)發(fā);
2. 負(fù)責(zé)執(zhí)行和開(kāi)發(fā)分布式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng),進(jìn)行多平臺(tái)信息的抓取和分析;
3. 負(fù)責(zé)網(wǎng)頁(yè)信息和app數(shù)據(jù)抽取、清洗、消重等工作,提升平臺(tái)的抓取效率;
4. 參與爬蟲(chóng)核心算法和策略優(yōu)化,熟悉采集系統(tǒng)的調(diào)度策略;
5. 實(shí)時(shí)監(jiān)控爬蟲(chóng)的進(jìn)度和警報(bào)反饋。
任職要求:
1. 本科以上學(xué)歷,3年以上爬蟲(chóng)開(kāi)發(fā)相關(guān)經(jīng)驗(yàn),熟練使用python或java進(jìn)行開(kāi)發(fā);
2. 熟練使用正則表達(dá)式、css path、_path等,能夠從結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息;
3. 熟練使用mysql數(shù)據(jù)庫(kù),掌握redis、mongodb、hive等常用nosql技術(shù)并具有實(shí)戰(zhàn)經(jīng)驗(yàn);
4. 熟悉各種抓取技術(shù),包括代理、phantomjs/selenium、驗(yàn)證碼處理;
5. 熟悉整個(gè)爬蟲(chóng)的設(shè)計(jì)及實(shí)現(xiàn)流程,有從事網(wǎng)絡(luò)爬蟲(chóng)、網(wǎng)頁(yè)信息抽取開(kāi)發(fā)經(jīng)驗(yàn),熟悉反爬蟲(chóng)技術(shù),有分布式爬蟲(chóng)架構(gòu)經(jīng)驗(yàn);
6. 具有數(shù)據(jù)挖掘、自然語(yǔ)言處理、信息檢索、機(jī)器學(xué)習(xí)背景者優(yōu)先;
7. 快速學(xué)習(xí)能力,工作積極主動(dòng),有創(chuàng)業(yè)熱情和良好的團(tuán)隊(duì)協(xié)助能力;
8. 需要有大量數(shù)據(jù)爬取以及高難度反爬經(jīng)驗(yàn),沒(méi)有相關(guān)經(jīng)驗(yàn)的勿擾。
第10篇 數(shù)據(jù)爬蟲(chóng)工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1.開(kāi)發(fā)網(wǎng)頁(yè)自動(dòng)化腳本。
2.負(fù)責(zé)商品信息結(jié)構(gòu)化,編寫(xiě)自動(dòng)化腳本解析網(wǎng)頁(yè)信息。
3.商品索引系統(tǒng):億級(jí)sku的庫(kù)存價(jià)格實(shí)時(shí)跟蹤同步,并對(duì)商品進(jìn)行智能分類、本地化、圖片處理和去重。
4.設(shè)計(jì)、開(kāi)發(fā)、測(cè)試、部署以及維護(hù)并改進(jìn)各子系統(tǒng);
5.管理項(xiàng)目?jī)?yōu)先級(jí)并按時(shí)交付。
職位要求:
1.全日制統(tǒng)招本科、碩士畢業(yè),1年以上軟件開(kāi)發(fā)工作經(jīng)驗(yàn);
2.熟悉至少一門(mén)通用靜態(tài)編譯編程語(yǔ)言,c/c++/java/c#/go;
3.熟悉web端基礎(chǔ)標(biāo)準(zhǔn),包括html、css、javascript、json等;
4.熟悉python或其他腳本語(yǔ)言,有興趣和能力根據(jù)需求學(xué)習(xí)其他編程語(yǔ)言;
5.熟悉uni_/linu_環(huán)境,memcache/redis/mongodb等存儲(chǔ)系統(tǒng),能獨(dú)立設(shè)計(jì)開(kāi)發(fā)包括前后端交互的業(yè)務(wù)子系統(tǒng);
6.熟悉常見(jiàn)的設(shè)計(jì)模式、單元測(cè)試、持續(xù)開(kāi)發(fā)集成、code review,并能在日常工作踐行;
7.了解搜索引擎、電子商務(wù)、社交類應(yīng)用的系統(tǒng)基本架構(gòu),能對(duì)已有的子系統(tǒng)進(jìn)行優(yōu)化調(diào)整的優(yōu)先;
8.活躍的開(kāi)源項(xiàng)目貢獻(xiàn)者優(yōu)先。