- 目錄
-
第1篇 大數(shù)據(jù)運(yùn)維工程師職位描述與崗位職責(zé)任職要求
職位描述：
崗位職責(zé)：
1. 負(fù)責(zé)大數(shù)據(jù)平臺(tái)的業(yè)務(wù)監(jiān)控、持續(xù)交付、應(yīng)急響應(yīng)、容量規(guī)劃、性能優(yōu)化；
2. 負(fù)責(zé)cloudera manage平臺(tái)各大數(shù)據(jù)組件(例例如：hdfs、yarn、hbase、hive、hue、impala、spark、sqoop、zk等)安裝調(diào)試與支持；
3. 深入研究大數(shù)據(jù)相關(guān)運(yùn)維技術(shù)，持續(xù)優(yōu)化集群服務(wù)架構(gòu)，探索新的hadoop運(yùn)維技術(shù)及發(fā)展方向；
4. 負(fù)責(zé)hadoop平臺(tái)的用戶管理、權(quán)限分配、資源分配；
崗位要求：
1. 熟悉apache hadoop、spark、kafka、hbase、hive等大數(shù)據(jù)組件的安裝部署、故障處理理、性能調(diào)優(yōu)，具有cdh等組件實(shí)際使用經(jīng)驗(yàn)；
2. 具有cloudera manage平臺(tái)搭建維護(hù)經(jīng)驗(yàn)；
3. 熟悉linu_，有cloudera使用經(jīng)驗(yàn)優(yōu)先；
4. 有一定的hql/sql性能調(diào)優(yōu)工作；
5. 熟悉azkaban工作流組件優(yōu)先。
第2篇 大數(shù)據(jù)java開發(fā)工程師職位描述與崗位職責(zé)任職要求
職位描述：
工作職責(zé):
1、根據(jù)業(yè)務(wù)需求與前端組協(xié)作開發(fā)并實(shí)現(xiàn)各功能；
2、與架構(gòu)師一起確定后端研發(fā)中涉及到的技術(shù)框架選型及相關(guān)實(shí)現(xiàn)；
3、與架構(gòu)師一起確定協(xié)作完成核心接口的定義、使用、測(cè)試并保證業(yè)務(wù)代碼的運(yùn)行效率；
4、與測(cè)試組及運(yùn)維組協(xié)作實(shí)現(xiàn)產(chǎn)品上線，并監(jiān)控產(chǎn)品服務(wù)，及時(shí)處理線上異常；
5、能帶領(lǐng)小團(tuán)隊(duì)獨(dú)立工作，分解項(xiàng)目需求，完成模塊設(shè)計(jì)，組織評(píng)審，制訂開發(fā)計(jì)劃，保證質(zhì)量；
6、參與code review ，從技術(shù)層面帶領(lǐng)團(tuán)隊(duì)整體實(shí)力提升。
任職資格:
職位要求
1、計(jì)算機(jī)相關(guān)專業(yè)，本科及以上學(xué)歷；
2、具有3年或以上java web項(xiàng)目開發(fā)工作經(jīng)驗(yàn)；
3、java基礎(chǔ)扎實(shí)，深入理解成熟java開源框架，如spring， springmvc等；
4、熟練使用和配置一種或一種以上tomcat、jetty、ngin_等主流應(yīng)用服務(wù)器；
5、熟練使用mysql等常用數(shù)據(jù)庫(kù)，對(duì)redis有深入理解和實(shí)際設(shè)計(jì)及使用經(jīng)驗(yàn)；
6、有豐富的高并發(fā)，高吞吐系統(tǒng)開發(fā)經(jīng)驗(yàn)；
7、有較強(qiáng)的承壓能力以及學(xué)習(xí)能力；
有以下經(jīng)驗(yàn)者優(yōu)先：
1、深入理解redis
2、了解apache karaf、apache camel，有相關(guān)使用經(jīng)驗(yàn)
3、熟悉阿里云或中間件相關(guān)技術(shù)
第3篇 大數(shù)據(jù)平臺(tái)(高級(jí))工程師-實(shí)驗(yàn)評(píng)估方向職位描述與崗位職責(zé)任職要求
職位描述：
工作職責(zé)：
1、研發(fā)業(yè)界領(lǐng)先的灰度實(shí)驗(yàn)/abtest系統(tǒng)，面向頭條全公司的所有產(chǎn)品線；
2、建立通用的用戶行為指標(biāo)體系，探索性發(fā)掘新指標(biāo)，研究業(yè)界領(lǐng)先的個(gè)性化評(píng)估方法；
3、從pb級(jí)超大規(guī)模的用戶行為數(shù)據(jù)中挖掘信息，并設(shè)計(jì)實(shí)驗(yàn)驗(yàn)證假設(shè)，為策略/產(chǎn)品改進(jìn)提供支持。
任職要求：
1、熟悉多項(xiàng)大數(shù)據(jù)處理/分析相關(guān)的工具/框架，e.g.hadoop， mapreduce， hive， storm， spark， kylin，scribe， kafka， hbase， canal，sqoop etc；
2、強(qiáng)悍的編碼能力，生產(chǎn)環(huán)境快速 trouble-shooting能力，對(duì)新技術(shù)有強(qiáng)烈的學(xué)習(xí)熱情；
3、優(yōu)秀的理解溝通能力，能快速理解業(yè)務(wù)背景，對(duì)數(shù)據(jù)敏感，崇尚數(shù)據(jù)說(shuō)話，深信數(shù)據(jù)在驅(qū)動(dòng)業(yè)務(wù)、支撐決策上的價(jià)值，有web應(yīng)用開發(fā)能力者優(yōu)先。
第4篇 資深大數(shù)據(jù)工程師職位描述與崗位職責(zé)任職要求
職位描述：
【崗位職責(zé)】：
1、參與公司數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)，負(fù)責(zé)大數(shù)據(jù)平臺(tái)和數(shù)據(jù)倉(cāng)庫(kù)相關(guān)建設(shè)；
2、依據(jù)公司的大數(shù)據(jù)技術(shù)發(fā)展路線，負(fù)責(zé)基于hadoop生態(tài)系統(tǒng)和mpp數(shù)據(jù)庫(kù)的大規(guī)模數(shù)據(jù)平臺(tái)的研發(fā)及數(shù)據(jù)倉(cāng)庫(kù)建設(shè)，提供可靠的數(shù)據(jù)存儲(chǔ)和訪問(wèn)能力；
3、負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)和數(shù)據(jù)倉(cāng)庫(kù)的搭建、開發(fā)、管理、監(jiān)控和性能調(diào)優(yōu)，保證集群高效穩(wěn)定運(yùn)行；
4、規(guī)劃與開發(fā)離線數(shù)據(jù)平臺(tái)系統(tǒng)，處理海量數(shù)據(jù)，優(yōu)化存儲(chǔ)和計(jì)算架構(gòu)的性能；
5、負(fù)責(zé)數(shù)據(jù)平臺(tái)技術(shù)難點(diǎn)攻關(guān)、技術(shù)選型評(píng)估，參與開發(fā)流程的討論與優(yōu)化；
6、參與公司數(shù)據(jù)治理策略等的制訂和實(shí)施；
7、負(fù)責(zé)協(xié)助產(chǎn)品經(jīng)理進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)相關(guān)的需求分析、建模、寬表設(shè)計(jì)等工作；
8、負(fù)責(zé)系統(tǒng)核心代碼編寫、代碼審核和重構(gòu)，指導(dǎo)和培訓(xùn)數(shù)據(jù)工程師、不斷進(jìn)行系統(tǒng)優(yōu)化；
【任職資格】：
1、本科以上學(xué)歷，5年以上大數(shù)據(jù)研發(fā)經(jīng)驗(yàn)，帶領(lǐng)過(guò)10人以上的大數(shù)據(jù)團(tuán)隊(duì)；
2、有大型分布式系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn)，負(fù)責(zé)過(guò)海量數(shù)據(jù)平臺(tái)上高可用、高性能分布式系統(tǒng)的架構(gòu)設(shè)計(jì)；
3、熟悉大數(shù)據(jù)開發(fā)框架，熟悉hadoop，hbase，spark等及業(yè)界主流流處理平臺(tái)如，如storm，flunk，sparkstreaming等之一；
4、熟悉greenplum等數(shù)據(jù)倉(cāng)庫(kù)技術(shù)，并有廣泛的實(shí)踐經(jīng)驗(yàn)，具備維護(hù)和解決生產(chǎn)問(wèn)題的能力；
5、熟悉掌握分布式存儲(chǔ)和nosql數(shù)據(jù)庫(kù)技術(shù)（如monogodb、redis等），有實(shí)際生產(chǎn)項(xiàng)目應(yīng)用經(jīng)驗(yàn)；
6、熟練掌握java，python，scalar中的至少一種編程語(yǔ)言，掌握常見的數(shù)據(jù)結(jié)構(gòu)，算法，了解軟件工程、敏捷開發(fā)等知識(shí)，熟悉常用設(shè)計(jì)模式
7、理解soa，微服務(wù)，中間件等paas相關(guān)的關(guān)鍵理念與技術(shù)，并對(duì)其有廣泛的實(shí)踐與應(yīng)用經(jīng)驗(yàn)，樂(lè)于。
8、有民航、電子商務(wù)、風(fēng)控等大數(shù)據(jù)設(shè)計(jì)和從業(yè)經(jīng)驗(yàn)者優(yōu)先。
第5篇 大數(shù)據(jù)云計(jì)算工程師崗位職責(zé)
高級(jí)java開發(fā)工程師(云計(jì)算大數(shù)據(jù)方向) 中軟國(guó)際科技 中軟國(guó)際科技服務(wù)有限公司,中軟國(guó)際,中軟國(guó)際科技,中軟國(guó)際科技服務(wù),中軟 職責(zé)描述:
1、負(fù)責(zé)/參與應(yīng)用系統(tǒng)平臺(tái)設(shè)計(jì)、重構(gòu)、優(yōu)化,主導(dǎo)/參與技術(shù)難題攻關(guān);
2、負(fù)責(zé)并參與系統(tǒng)需求分析、功能模塊詳細(xì)設(shè)計(jì),完成系統(tǒng)業(yè)務(wù)功能實(shí)現(xiàn)、測(cè)試及維護(hù)工作;
3、負(fù)責(zé)編寫相應(yīng)的需求、設(shè)計(jì)與技術(shù)文檔,向系統(tǒng)使用者提供技術(shù)支持服務(wù);
4、參與線上系統(tǒng)環(huán)境的升級(jí)、運(yùn)維監(jiān)控、性能調(diào)優(yōu);
5、推動(dòng)跟進(jìn)業(yè)務(wù)線需求,為改善系統(tǒng)的功能積極提出建議。
任職要求:
1、3以上java語(yǔ)言開發(fā)經(jīng)驗(yàn),基礎(chǔ)扎實(shí), 熟練使用springmvc框架進(jìn)行開發(fā);
2、對(duì)多線程編程,線程安全等有較深理解. 能夠熟練使用線程池等常用功能;
3、熟練使用jpa,hibernate,mybatis中的一種或多種持久層框架;
4、熟練使用sql的crud命令;
5、具有庫(kù)表結(jié)構(gòu)設(shè)計(jì)能力, 并且有一定的sql開發(fā)及優(yōu)化能力。
第6篇 大數(shù)據(jù)開發(fā)工程師（數(shù)倉(cāng)方向）職位描述與崗位職責(zé)任職要求
職位描述：
崗位職責(zé)：
1. 理解業(yè)務(wù)需求，負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)、etl流程的開發(fā)和優(yōu)化工作；
2. 解決業(yè)務(wù)數(shù)據(jù)分析、數(shù)據(jù)報(bào)表、數(shù)據(jù)異常相關(guān)的技術(shù)問(wèn)題；
3. spark/yarn/hdfs 的性能改進(jìn)、功能擴(kuò)展、故障分析；
任職資格：
1. 計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷；
2. 精通java編程語(yǔ)言，并熟悉scala、python、shell等一門以上腳本語(yǔ)言；
3. 熟悉hadoop大數(shù)據(jù)平臺(tái)架構(gòu)，熟悉spark/spark sql/yarn開發(fā)調(diào)優(yōu)技術(shù)，具有相關(guān)項(xiàng)目經(jīng)驗(yàn)
4. 掌握數(shù)據(jù)倉(cāng)庫(kù)(dw)/olap/商業(yè)智能(bi)/數(shù)據(jù)統(tǒng)計(jì)理論，熟悉oracle/mysql數(shù)據(jù)庫(kù)；
5. 思路清晰，具備良好的溝通能力和理解能力，較強(qiáng)的學(xué)習(xí)能力以及快速解決問(wèn)題的能力；
6. 具有高度的責(zé)任感，工作認(rèn)真、踏實(shí)。
福利待遇：
1、薪酬：有競(jìng)爭(zhēng)力的薪酬體系，我們不止跟你談理想，錢也必須談一談~
2、交通：無(wú)論天涯，免費(fèi)班車直達(dá)公司，驀然回首，地鐵就在公司不遠(yuǎn)處。。。
3、工作時(shí)間：5天7小時(shí)工作制，充足的休息讓你一整天元?dú)鉂M滿！
4、各種福利：五險(xiǎn)一金小case，節(jié)日禮物福利補(bǔ)貼說(shuō)不完！
5、團(tuán)建活動(dòng)：下午茶，團(tuán)隊(duì)活動(dòng)，部門聚餐，經(jīng)費(fèi)充足不差錢，大公司就是這么壕！
6、發(fā)展平臺(tái)：想要升職加薪走向人生巔峰？上市公司晉升發(fā)展機(jī)會(huì)多多~
第7篇 數(shù)據(jù)平臺(tái)-大數(shù)據(jù)開發(fā)套件服務(wù)端高級(jí)工程師職位描述與崗位職責(zé)任職要求
職位描述：
工作職責(zé)：
1、面向公司的大數(shù)據(jù)開發(fā)套件產(chǎn)品設(shè)計(jì)與研發(fā)，包括大數(shù)據(jù)任務(wù)建設(shè)平臺(tái)，元數(shù)據(jù)管理系統(tǒng)，數(shù)據(jù)質(zhì)量監(jiān)控平臺(tái)，任務(wù)運(yùn)維平臺(tái)等
2、參與需求調(diào)研與用戶技術(shù)支持
3、追求極致，構(gòu)建業(yè)內(nèi)領(lǐng)先的數(shù)據(jù)平臺(tái)產(chǎn)品
任職要求：
1、精通java/scala語(yǔ)言，包括jvm、類裝載、線程、并發(fā)、io資源管理、網(wǎng)絡(luò)
2、扎實(shí)的計(jì)算機(jī)基礎(chǔ)，對(duì)技術(shù)有熱情，愿意不斷嘗試新技術(shù)和業(yè)務(wù)挑戰(zhàn)
3、精通soa架構(gòu)和微服務(wù)架構(gòu)
4、有 ide 開發(fā)經(jīng)驗(yàn)者優(yōu)先考慮
5、熟悉前端技術(shù)的全棧開發(fā)工程師優(yōu)先
6、熟悉hadoop ecosystem常用開源框架者優(yōu)先，例如hadoop/flink/spark等
第8篇 大數(shù)據(jù)架構(gòu)資深工程師職位描述與崗位職責(zé)任職要求
職位描述：
工作職責(zé)：
1、打造業(yè)界領(lǐng)先的存儲(chǔ)、計(jì)算等分布式系統(tǒng)；
2、為海量數(shù)據(jù)和大規(guī)模業(yè)務(wù)系統(tǒng)提供可靠的基礎(chǔ)設(shè)施。
任職要求：
1、掌握分布式系統(tǒng)原理，對(duì)存儲(chǔ)、計(jì)算、消息隊(duì)列、集群管理中的一項(xiàng)或多項(xiàng)有深入的理解和認(rèn)識(shí)；
2、樂(lè)于挑戰(zhàn)沒(méi)有明顯答案的問(wèn)題，能快速理解業(yè)務(wù)場(chǎng)景，從具體問(wèn)題中抽象出通用的解決方案；
3、存儲(chǔ)方向：對(duì) hdfs， rocksdb， leveldb， memcache， redis， mysql， hbase， kafka 的一項(xiàng)或多項(xiàng)有經(jīng)驗(yàn)者優(yōu)先；
4、計(jì)算方向：對(duì) spark， mapreduce， storm， hive， presto， impala 的一項(xiàng)或多項(xiàng)有經(jīng)驗(yàn)者優(yōu)先；
5、集群管理方向：對(duì) yarn， mesos 的一項(xiàng)或多項(xiàng)有經(jīng)驗(yàn)者優(yōu)先；
6、向開源社區(qū)貢獻(xiàn)過(guò) patch 者優(yōu)先，請(qǐng)?jiān)诤?jiǎn)歷上說(shuō)明。
第9篇 大數(shù)據(jù)工程師崗位職責(zé)職位要求
職責(zé)描述：
華為企業(yè)bg-大數(shù)據(jù)工程師
1、基于hadoop/spark/mppdb的大數(shù)據(jù)、數(shù)倉(cāng)平臺(tái)架構(gòu)設(shè)計(jì)及開發(fā)工作
2、數(shù)據(jù)處理流程設(shè)計(jì)及開發(fā)
3、海量數(shù)據(jù)的采集、存儲(chǔ)、管理、分析、建模
4、負(fù)責(zé)大數(shù)據(jù)、數(shù)倉(cāng)平臺(tái)的監(jiān)控及優(yōu)化，針對(duì)持續(xù)增長(zhǎng)的數(shù)據(jù)提供相應(yīng)的解決方案
5、負(fù)責(zé)大數(shù)據(jù)、數(shù)倉(cāng)項(xiàng)目的疑難問(wèn)題解決，性能優(yōu)化
專業(yè)知識(shí)要求：
1、有3年以上相關(guān)崗位工作經(jīng)歷，或者非金融業(yè)的數(shù)據(jù)服務(wù)或信息數(shù)據(jù)管理工作經(jīng)驗(yàn)
2、數(shù)學(xué)、計(jì)算機(jī)技術(shù)等相關(guān)專業(yè)
3、精通大數(shù)據(jù)（mppdb、hadoop）等相關(guān)技術(shù)，并精通hbase/hive/mr/spark/solr/storm/flink其中的任意3個(gè)組件技術(shù)。
4、至少精通主流數(shù)據(jù)庫(kù)技術(shù)oracle/postresql/mysql/sql server中的一種，精通數(shù)據(jù)倉(cāng)庫(kù)理論架構(gòu)，包括但不限于數(shù)據(jù)調(diào)度、etl、元數(shù)據(jù)管理、數(shù)據(jù)監(jiān)控；
5、精通1-2門開發(fā)語(yǔ)言（java/python/scala/shell）
6、具有比較突出的組織、策劃、協(xié)調(diào)及溝通能力，有強(qiáng)烈的結(jié)果導(dǎo)向和客戶導(dǎo)向。
崗位要求：
學(xué)歷要求：本科
語(yǔ)言要求：不限
年齡要求：不限
工作年限：3-5年
第10篇 fwz-大數(shù)據(jù)挖掘工程師職位描述與崗位職責(zé)任職要求
職位描述：
職責(zé)描述：
1、熟知公司業(yè)務(wù)數(shù)據(jù)和業(yè)務(wù)變化，構(gòu)建業(yè)務(wù)數(shù)據(jù)模型；
2、維護(hù)業(yè)務(wù)數(shù)據(jù)模型，驗(yàn)證數(shù)據(jù)質(zhì)量，保障數(shù)據(jù)完整和可靠；
3、進(jìn)行數(shù)據(jù)研發(fā)和分析，支持業(yè)務(wù)優(yōu)化、監(jiān)控和考核；
4、不斷學(xué)習(xí)數(shù)據(jù)技術(shù)，使用新技術(shù)高效完成任務(wù)。
5、平臺(tái)的搭建與數(shù)據(jù)維護(hù)
任職要求：
1、國(guó)內(nèi)外高校計(jì)算機(jī)、數(shù)學(xué)類相關(guān)專業(yè)，本科以上學(xué)歷；
2、2年以上大規(guī)模數(shù)據(jù)研發(fā)、挖掘、分析相關(guān)工作經(jīng)驗(yàn)；
3、熟悉mysql、oracle、sqlserver或至少其中之一，熟悉sql語(yǔ)言；
4、具有hadoop、hive、hbase、spark、strom等開源工具的使用經(jīng)驗(yàn)，并能結(jié)合不同的業(yè)務(wù)場(chǎng)景使用；
5、具有python、shell開發(fā)經(jīng)驗(yàn)；
6、有物流行業(yè)相關(guān)工作經(jīng)驗(yàn)者優(yōu)先；
7、了解數(shù)理統(tǒng)計(jì)、數(shù)據(jù)分析及挖掘，熟知常用算法，有運(yùn)用機(jī)器學(xué)習(xí)算法建模的理論基礎(chǔ)或?qū)嶋H經(jīng)驗(yàn)者優(yōu)先；應(yīng)用大數(shù)據(jù)平臺(tái)完成項(xiàng)目或任務(wù)。
第11篇 大數(shù)據(jù)工程師崗位工作職責(zé)
簡(jiǎn)介:大數(shù)據(jù)(big data),指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合,是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。
大數(shù)據(jù)工程師職位描述(模板一)
崗位職責(zé):
1.負(fù)責(zé)數(shù)據(jù)分析、加工、清洗、處理程序的開發(fā);
2.從事海量數(shù)據(jù)分析、挖掘相關(guān)工作;
3.負(fù)責(zé)大數(shù)據(jù)相關(guān)平臺(tái)的搭建、開發(fā)、維護(hù)、優(yōu)化;
4.對(duì)業(yè)務(wù)部門的數(shù)據(jù)分析需求給予實(shí)現(xiàn)與支持;
5.對(duì)公司的“數(shù)據(jù)驅(qū)動(dòng)運(yùn)營(yíng)”的業(yè)務(wù)目標(biāo)進(jìn)行大數(shù)據(jù)架構(gòu)方案實(shí)現(xiàn)。
任職要求:
1.計(jì)算機(jī)相關(guān)專業(yè),本科及以上學(xué)歷,3年以上java開發(fā)工作經(jīng)驗(yàn),學(xué)習(xí)能力突出;
2.熟悉hadoop生態(tài)系統(tǒng)內(nèi)常見項(xiàng)目的使用(hdfs、hive、hbase、spark、zookeeper、yarn等),具有python、spark 、mapreduce開發(fā)經(jīng)驗(yàn),有實(shí)際大數(shù)據(jù)項(xiàng)目經(jīng)驗(yàn)優(yōu)先;
3.熟練掌握oracle、mysql等主流數(shù)據(jù)庫(kù);
4.精通java,熟悉基于j2ee的web架構(gòu)設(shè)計(jì),熟悉web開發(fā)流程,有豐富的web mvc(struts/spring mvc、spring,hibernate/mybatis等)開發(fā)經(jīng)驗(yàn);
5.熟悉linu_/uni_系統(tǒng)環(huán)境下的操作;熟悉tomcat等應(yīng)用服務(wù)器的配置和優(yōu)化;
6.具有良好的溝通能力、組織能力及團(tuán)隊(duì)協(xié)作精神,有較強(qiáng)的分析和解決問(wèn)題的能力。大數(shù)據(jù)工程師職位描述(模板二)
崗位職責(zé):
1.大數(shù)據(jù)平臺(tái)功能規(guī)劃、設(shè)計(jì);
2.大數(shù)據(jù)平臺(tái)的設(shè)計(jì)、研發(fā);
3.大數(shù)據(jù)平臺(tái)實(shí)施、數(shù)據(jù)接入。
任職要求:
1.統(tǒng)招本科及以上學(xué)歷,計(jì)算機(jī)科學(xué)、軟件工程、數(shù)學(xué)、統(tǒng)計(jì)學(xué)相關(guān)專業(yè)畢業(yè);
2.具有扎實(shí)的java基礎(chǔ),精通sql、mysql以及2年以上軟件開發(fā)經(jīng)驗(yàn);
3.熟悉hadoop平臺(tái)架構(gòu),有hadooop、hbase、hive、spark、kafka使用經(jīng)驗(yàn);
4.熟練python進(jìn)行數(shù)據(jù)處理,網(wǎng)頁(yè)爬取;
5.有非結(jié)構(gòu)化數(shù)據(jù)解析、識(shí)別經(jīng)驗(yàn)優(yōu)先。大數(shù)據(jù)工程師職位描述(模板三)
崗位職責(zé):
1.負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)、設(shè)計(jì)、優(yōu)化和落地;
2.負(fù)責(zé)數(shù)據(jù)etl開發(fā)、數(shù)據(jù)平臺(tái)建設(shè)、設(shè)計(jì)并實(shí)現(xiàn)對(duì)bi分析、數(shù)據(jù)產(chǎn)品開發(fā)。
任職要求:
1.985院校計(jì)算機(jī)相關(guān)專業(yè)本科以上學(xué)歷;
2.有較扎實(shí)的數(shù)據(jù)倉(cāng)庫(kù)理論基礎(chǔ),對(duì)數(shù)據(jù)模型建設(shè)、應(yīng)用層建設(shè)有比較豐富的經(jīng)驗(yàn);
3.有hadoop、hive、spark、impala等大數(shù)據(jù)技術(shù)使用經(jīng)驗(yàn)者優(yōu)先。大數(shù)據(jù)工程師職位描述(模板四)
崗位職責(zé):
1.主要負(fù)責(zé)電信業(yè)務(wù)的大數(shù)據(jù)開發(fā)工作;
2.結(jié)合業(yè)務(wù)需求設(shè)計(jì)數(shù)據(jù)分析場(chǎng)景,并形成后臺(tái)實(shí)現(xiàn)方案,獨(dú)立完成業(yè)務(wù)數(shù)據(jù)建模,并將結(jié)果轉(zhuǎn)化為運(yùn)營(yíng)指標(biāo);
3.對(duì)產(chǎn)品全生命周期跟進(jìn),協(xié)調(diào)各種資源保證產(chǎn)品順利發(fā)展。
任職要求:
1.計(jì)算機(jī)或者相關(guān)專業(yè)本科及以上學(xué)歷,3年及以上相關(guān)工作經(jīng)驗(yàn);
2.熟練掌握java開發(fā)語(yǔ)言,熟悉多線程和線程調(diào)優(yōu),如懂scala開發(fā)更佳;
3.熟悉linu_服務(wù)器環(huán)境、熟悉shell;
4.熟悉分布式系統(tǒng)、集群管理、soa架構(gòu)等相關(guān)技術(shù),熟悉hadoop on yarn集群部署和工作原理,熟練掌握mr開發(fā),有大型集群開發(fā)運(yùn)維經(jīng)驗(yàn)更佳;
5.熟悉以下技術(shù)中3種及以上者優(yōu)先考慮:hive、hbase、impala、ngin_、zookeeper、redis、kafka、storm、spark、es、爬蟲;
6.具有良好的溝通能力和團(tuán)隊(duì)精神,具有良好的抗壓能力。大數(shù)據(jù)工程師職位描述(模板五)
崗位職責(zé):
1.負(fù)責(zé)大數(shù)據(jù)處理平臺(tái)應(yīng)用的開發(fā)工作;
2.利用hadoop yarn/storm/spark進(jìn)行開發(fā)、存儲(chǔ)、分布式計(jì)算應(yīng)用的代碼實(shí)現(xiàn);
3.優(yōu)化hadoop yarn/storm/spark 參數(shù),實(shí)現(xiàn)系統(tǒng)調(diào)優(yōu),滿足行業(yè)應(yīng)用的實(shí)時(shí)大數(shù)據(jù)處理需求;
4.學(xué)習(xí)新技術(shù),提高整個(gè)平臺(tái)的計(jì)算能力和效率;
5.開發(fā)基于hive、hbase、es等數(shù)據(jù)處理方式的腳本程序。
任職要求:
1.3年以上hadoop/storm/spark開發(fā)經(jīng)驗(yàn),對(duì)分布式、并行計(jì)算理論有深刻理解;
2.精通java/scala/python任一語(yǔ)言;
3.對(duì)hadoop/storm/spark源碼有研究,有大數(shù)據(jù)平臺(tái)開發(fā)工作經(jīng)驗(yàn)者優(yōu)先;
4.有很好的技術(shù)敏感性,良好的學(xué)習(xí)能力和吃苦耐勞能力;
5.具有較好的溝通協(xié)調(diào)能力、團(tuán)隊(duì)合作能力、文檔編寫能力。
第12篇 大數(shù)據(jù)計(jì)算引擎高級(jí)工程師職位描述與崗位職責(zé)任職要求
職位描述：
工作職責(zé)：
1、研發(fā)業(yè)界領(lǐng)先的大數(shù)據(jù)計(jì)算引擎，服務(wù)于今日頭條全公司的數(shù)十個(gè)用戶產(chǎn)品線；
2、面向超大規(guī)模數(shù)據(jù)問(wèn)題，每天千億增量的用戶行為數(shù)據(jù)，秒級(jí)處理pb級(jí)別的數(shù)據(jù)計(jì)算；
3、善于理解和抽象業(yè)務(wù)問(wèn)題，支撐多樣的海量數(shù)據(jù)分析場(chǎng)景。
任職要求：
1、強(qiáng)悍的系統(tǒng)設(shè)計(jì)&編碼能力，追求優(yōu)雅的設(shè)計(jì)和優(yōu)秀的代碼質(zhì)量，高標(biāo)準(zhǔn)，快速行動(dòng)；
2、對(duì)hive/kylin/presto/spark/tez/impala 的一項(xiàng)或多項(xiàng)有深入研究者優(yōu)先；
3、有pb規(guī)模的數(shù)據(jù)處理經(jīng)驗(yàn)者優(yōu)先/4、開源項(xiàng)目commiter或貢獻(xiàn)過(guò)patch 者優(yōu)先，請(qǐng)?jiān)诤?jiǎn)歷上說(shuō)明。
第13篇 sfj-大數(shù)據(jù)挖掘與分析工程師（數(shù)據(jù)分析方向）職位描述與崗位職責(zé)任職要求
職位描述：
職責(zé)描述：
1、用系統(tǒng)化的方法分析業(yè)務(wù)變化趨勢(shì)，為管理層決策和產(chǎn)品完善提供數(shù)據(jù)支持；
2、運(yùn)用hive/sql做數(shù)據(jù)挖掘分析，用數(shù)據(jù)驅(qū)動(dòng)產(chǎn)品改進(jìn)、業(yè)務(wù)發(fā)展；
3、指導(dǎo)與支持產(chǎn)品經(jīng)理、業(yè)務(wù)經(jīng)理設(shè)定目標(biāo)，并檢驗(yàn)是否達(dá)標(biāo)。
任職要求：
1、統(tǒng)計(jì)、生物統(tǒng)計(jì)、運(yùn)籌、應(yīng)用數(shù)學(xué)相關(guān)專業(yè)本科及以上學(xué)歷；
2、三年以上在互聯(lián)網(wǎng)或物聯(lián)網(wǎng)行業(yè)的數(shù)據(jù)分析工作經(jīng)驗(yàn)；有app數(shù)據(jù)運(yùn)營(yíng)、物流數(shù)據(jù)分析經(jīng)驗(yàn)的優(yōu)先；
3、優(yōu)秀的商業(yè)分析能力，有及時(shí)發(fā)現(xiàn)和分析其中隱含問(wèn)題的敏銳性 ，能從復(fù)雜用戶行為數(shù)據(jù)進(jìn)行抽象概括，建立數(shù)學(xué)模型并用ppt等表達(dá)；
4、熟悉sql與hive，掌握統(tǒng)計(jì)分析方法；
5、有設(shè)計(jì)a/b test的能力，精通各種統(tǒng)計(jì)假設(shè)檢驗(yàn)的方法，如：t-test， chi-square等；
6、具備r或python能力。
第14篇 大數(shù)據(jù)主任工程師職位描述與崗位職責(zé)任職要求
職位描述：
職責(zé)描述：
1. 負(fù)責(zé)客戶業(yè)務(wù)需求、數(shù)據(jù)分析需求的調(diào)研、收集與分析;
2. 負(fù)責(zé) kyligence enterprise 大數(shù)據(jù)平臺(tái)整體架構(gòu)和數(shù)據(jù)架構(gòu)設(shè)計(jì);
3. 負(fù)責(zé)技術(shù)設(shè)計(jì)及技術(shù)實(shí)現(xiàn)規(guī)范編制，指導(dǎo)開發(fā)團(tuán)隊(duì)進(jìn)行項(xiàng)目設(shè)計(jì)、項(xiàng)目實(shí)現(xiàn)及技術(shù)匯報(bào);
4. 負(fù)責(zé)項(xiàng)目重難點(diǎn)模塊的功能設(shè)計(jì)和難點(diǎn)攻堅(jiān);
5. 參與 kyligence enterprise/apache kylin 的應(yīng)用設(shè)計(jì)、開發(fā)、測(cè)試及優(yōu)化工作。
任職要求：
1. 計(jì)算機(jī)相關(guān)專業(yè)，本科及以上學(xué)歷;
2. 有 3 年以上工作經(jīng)驗(yàn)，其中包括2年以上大數(shù)據(jù)平臺(tái)架構(gòu)和系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn);
3. 精通 hadoop、hive、hbase原理，熟悉大數(shù)據(jù)生態(tài)技術(shù)，如storm、spark、flink、kafka、zookeeper等，有大規(guī)模集群架構(gòu)、開發(fā)及運(yùn)維經(jīng)驗(yàn)，能根據(jù)業(yè)務(wù)場(chǎng)景設(shè)計(jì)合適的技術(shù)棧完成業(yè)務(wù)需求
4. 熟練sql 語(yǔ)言，掌握 oracle、db2、mysql 等一種或多種數(shù)據(jù)庫(kù)系統(tǒng)的使用，有一定的 sql 性能調(diào)優(yōu)經(jīng)驗(yàn);
5. 至少熟悉 java，scala，python，shell等編程語(yǔ)言中的2種;
6. 優(yōu)秀的分析和解決問(wèn)題的能力，對(duì)挑戰(zhàn)性問(wèn)題充滿激情;
7. 具備良好的團(tuán)隊(duì)合作精神，較強(qiáng)的溝通能力，具備良好的技術(shù)領(lǐng)導(dǎo)能力;
8. 有數(shù)據(jù)倉(cāng)庫(kù)背景或者 apache kylin 的開發(fā)經(jīng)驗(yàn)者優(yōu)先考慮;
第15篇 大數(shù)據(jù)開發(fā)高級(jí)工程師-etl方向職位描述與崗位職責(zé)任職要求
職位描述：
工作職責(zé):
1、 根據(jù)公司數(shù)據(jù)分析需求進(jìn)行基于hadoop 平臺(tái)的項(xiàng)目開發(fā)；
2、 根據(jù)需求進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì)，熟練使用kettle工具進(jìn)行etl程序的開發(fā)；包括實(shí)時(shí)數(shù)據(jù)加工，計(jì)算，etl，管理， 監(jiān)控等；
3、 負(fù)責(zé)針對(duì)源系統(tǒng)進(jìn)行數(shù)據(jù)抽取、處理、分析等相關(guān)工作，及項(xiàng)目中涉及到的數(shù)據(jù)庫(kù)創(chuàng)建、維護(hù)及提供數(shù)據(jù)接口工作；
4、 負(fù)責(zé)設(shè)計(jì)并優(yōu)化基于hive 的數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)；
5、 制定數(shù)據(jù)庫(kù)備份和恢復(fù)策略及工作流程與規(guī)范。
6、能出具消費(fèi)品品牌制造行業(yè)應(yīng)用的數(shù)據(jù)分析技術(shù)解決方案，并落地。
任職資格:
1．從事數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域至少2年以上，熟悉數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì)與etl開發(fā)經(jīng)驗(yàn) ，具備海量數(shù)據(jù)加工處理相關(guān)經(jīng)驗(yàn)；
2. 熟悉數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域知識(shí)和技能者優(yōu)先，包括但不局限于：元數(shù)據(jù)管理、數(shù)據(jù)開發(fā)測(cè)試工具與方法、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理；
3．有從事分布式數(shù)據(jù)存儲(chǔ)與計(jì)算平臺(tái)應(yīng)用開發(fā)經(jīng)驗(yàn)，熟悉hadoop生態(tài)相關(guān)技術(shù)并有相關(guān)實(shí)踐經(jīng)驗(yàn)著優(yōu)先，重點(diǎn)考察hive、hdfs、hbase;
4. 熟練掌握kettlesqoop、data_、airflow等;
5. 有消費(fèi)品品牌制造、零售行業(yè)經(jīng)驗(yàn)，尤其快消品行業(yè)和財(cái)務(wù)領(lǐng)域數(shù)據(jù)項(xiàng)目經(jīng)驗(yàn)者優(yōu)先;
6. 熟悉分布式計(jì)算presto/imapa優(yōu)先;
7．有實(shí)時(shí)計(jì)算方面的經(jīng)驗(yàn)的優(yōu)先。
第16篇 大數(shù)據(jù)基礎(chǔ)架構(gòu)研發(fā)工程師職位描述與崗位職責(zé)任職要求
職位描述：
職責(zé)描述：
1、負(fù)責(zé)公司內(nèi)部大數(shù)據(jù)平臺(tái)的選型與優(yōu)化工作；
2、參與整體系統(tǒng)架構(gòu)的規(guī)劃，維護(hù)公司的大數(shù)據(jù)生產(chǎn)平臺(tái)，不斷優(yōu)化系統(tǒng)性能；
3、開發(fā)適合公司業(yè)務(wù)的大數(shù)據(jù)框架，并協(xié)助其他部門開發(fā)與優(yōu)化出高效的并行計(jì)算程序；
4、開發(fā)適合公司業(yè)務(wù)的大數(shù)據(jù)存儲(chǔ)平臺(tái)，完成pb級(jí)別的高性能存儲(chǔ)作業(yè)。
任職要求：
1、985/211院校計(jì)算機(jī)相關(guān)專業(yè)畢業(yè)，有良好的計(jì)算機(jī)基礎(chǔ)；
2、熟悉java語(yǔ)言，熟練使用idea或eclipse，有第二門語(yǔ)言者優(yōu)先（python，c++）；
3， 熟悉centos、ubuntu、等linu_操作系統(tǒng);
4，兩年以上研發(fā)工作經(jīng)驗(yàn)，有中層管理經(jīng)驗(yàn)者優(yōu)先；
5，3年以上使用hadoop/hbase等分布式平臺(tái)經(jīng)驗(yàn)，有過(guò)管理pb級(jí)別數(shù)據(jù)經(jīng)驗(yàn)者優(yōu)先；
6，熟悉hadoop/hbase的各類配置與插件開發(fā)，有過(guò)源碼修改與插件開發(fā)經(jīng)驗(yàn)者優(yōu)先；
7，有過(guò)大型項(xiàng)目（使用人數(shù)超過(guò)100萬(wàn)，日均pv超過(guò)1億）的參與經(jīng)驗(yàn)優(yōu)先。
