- 目錄
第1篇 高級(jí)數(shù)據(jù)采集工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1. 數(shù)據(jù)采集系統(tǒng)和分布式爬蟲系統(tǒng)的架構(gòu)設(shè)計(jì)和開發(fā)
2.對(duì)接外部數(shù)據(jù)服務(wù)商提供的數(shù)據(jù)及資訊服務(wù),實(shí)現(xiàn)數(shù)據(jù)的有效沉淀,建立數(shù)據(jù)服務(wù)評(píng)估機(jī)制
3. 負(fù)責(zé)大規(guī)模文本、圖像、視頻數(shù)據(jù)的抓取、抽取,去重、分類,垃圾過濾,質(zhì)量識(shí)別等工作
4. 研究各種目標(biāo)網(wǎng)站的形態(tài),互聯(lián)網(wǎng)特征挖掘,發(fā)現(xiàn)它們的特點(diǎn)和規(guī)律
任職資格:
1. 基本功扎實(shí),熟練使用常用數(shù)據(jù)結(jié)構(gòu)和相關(guān)算法,精通 java io、多線程、集合 等
2. 熟悉緩存、消息機(jī)制、并發(fā)框架,異步框架等
3. 熟悉internet基本協(xié)議(如tcp/ip. http等)
4. 熟悉html/dom/_path/css,對(duì)dom有一定的功底能夠熟練使用頁(yè)面分析工具等進(jìn)行網(wǎng)頁(yè)分析,有模擬登錄,模擬瀏覽器、app抓取經(jīng)驗(yàn)優(yōu)先
5. 有nutch、heritri_、scrapy等系統(tǒng)使用經(jīng)驗(yàn),或二次開發(fā)經(jīng)驗(yàn)者優(yōu)先
6. 有基于網(wǎng)頁(yè)結(jié)構(gòu)的自動(dòng)識(shí)別抽取算法,結(jié)構(gòu)化結(jié)果的經(jīng)驗(yàn)者優(yōu)先
7. 對(duì)有可視化采集,基于js的自動(dòng)規(guī)則生成,分布式采集的經(jīng)驗(yàn)者優(yōu)先
8. 有從事輿情社交數(shù)據(jù)及熱點(diǎn)采集分析等的工作經(jīng)驗(yàn)者優(yōu)先
第2篇 數(shù)據(jù)采集工程師(核心層)職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1.嵌入式bootloader,kernel開發(fā);
2.工業(yè)通訊協(xié)議解析(modbus.ethercat.profitnet等);
3.windows/linu_平臺(tái)網(wǎng)關(guān)應(yīng)用層程序開發(fā);
4.網(wǎng)關(guān)產(chǎn)品的軟件功能測(cè)試驗(yàn)證;
5.工業(yè)網(wǎng)關(guān)產(chǎn)品軟件sdk及l(fā)ibrary開發(fā)。
任職要求:
1.本科(含)以上學(xué)歷,熟練使用辦公軟件;
2.熟練運(yùn)用c/c++開發(fā)語(yǔ)言;
3.熟悉工業(yè)現(xiàn)場(chǎng)數(shù)據(jù)傳輸協(xié)議;
4.熟悉windows.linu_開發(fā)平臺(tái);
5.性格開朗,邏輯思維較強(qiáng)。
第3篇 數(shù)據(jù)采集工程師(核心層)-職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1.負(fù)責(zé)linu_平臺(tái)下應(yīng)用軟件開發(fā),根據(jù)產(chǎn)品與項(xiàng)目要求,開展模塊設(shè)計(jì).編碼等工作;
2.負(fù)責(zé)linu_軟件的交叉編譯與移植;
3.參與需求分析.軟件設(shè)計(jì).開發(fā).調(diào)試以及測(cè)試維護(hù)全過程;
4.負(fù)責(zé)協(xié)同硬件工程師或第三方方案商完成系統(tǒng)功能模塊的聯(lián)調(diào)及功能對(duì)接.接口文文件輸出;
5.負(fù)責(zé)嵌入式系統(tǒng)軟件平臺(tái)搭建工作;
任職要求:
1.本科(含)以上學(xué)歷,熟悉linu_開發(fā)環(huán)境,熟悉c/c++或python等;
2.熟悉嵌入式linu_+qt應(yīng)用程序圖形接口開發(fā);
3.了解網(wǎng)絡(luò)編程.多進(jìn)程,多線程,熟悉mqtt/socket,tcp/ip等通訊協(xié)議;
4.有arm.mips系列產(chǎn)品開發(fā)經(jīng)驗(yàn)優(yōu)先;
5.具有較好的溝通能力.團(tuán)隊(duì)合作能力;
第4篇 設(shè)備數(shù)據(jù)采集工程師職位描述與崗位職責(zé)任職要求
職位描述:
崗位職責(zé):
1.負(fù)責(zé)工業(yè)設(shè)備組網(wǎng)及數(shù)據(jù)采集方案設(shè)計(jì);
2.負(fù)責(zé)設(shè)計(jì)方案所需傳感器、儀表選型,布線圖、數(shù)據(jù)存儲(chǔ)方式、數(shù)據(jù)表等詳細(xì)設(shè)計(jì);
3.負(fù)責(zé)與設(shè)備廠商、數(shù)控系統(tǒng)廠商進(jìn)行業(yè)務(wù)協(xié)議、通信協(xié)議及接口協(xié)調(diào);
4.負(fù)責(zé)現(xiàn)場(chǎng)數(shù)據(jù)采集相關(guān)軟硬件安裝調(diào)試;
5.負(fù)責(zé)和用戶現(xiàn)場(chǎng)對(duì)口協(xié)調(diào)、技術(shù)指導(dǎo)及現(xiàn)場(chǎng)培訓(xùn)。
技能要求:
1.具備軟件開發(fā)經(jīng)驗(yàn)優(yōu)先,熟悉scada(rtu、plc)系統(tǒng);
2.具備物聯(lián)網(wǎng)、scada等自動(dòng)化項(xiàng)目實(shí)施經(jīng)驗(yàn);
3.熟opc da/ua技術(shù);
4.熟練掌握工業(yè)以太網(wǎng)的組網(wǎng)技術(shù)、熟悉上下位及現(xiàn)場(chǎng)之間的通訊規(guī)約和協(xié)議;
5.熟悉數(shù)據(jù)庫(kù)和數(shù)據(jù)庫(kù)前端工具的應(yīng)用。