大數(shù)據(jù)開發(fā)工程師崗位要求15篇

第1篇 高級大數(shù)據(jù)開發(fā)工程師職位描述與崗位職責(zé)任職要求

職位描述：

崗位職責(zé)：

1. 基于公司大數(shù)據(jù)產(chǎn)品進行數(shù)據(jù)開發(fā)，包括數(shù)據(jù)的采集，清洗，預(yù)處理，存儲，建模，分析挖掘等

2. 根據(jù)業(yè)務(wù)用戶需要分析數(shù)據(jù)，提供數(shù)據(jù)支持

3. 參與公司大數(shù)據(jù)產(chǎn)品的運維和監(jiān)控，保障數(shù)據(jù)質(zhì)量和服務(wù)穩(wěn)定性

任職要求：

1. 具備本科以上學(xué)歷， 計算機， 軟件以及相關(guān)專業(yè)， 5年以上大數(shù)據(jù)開發(fā)經(jīng)驗

2. 熟悉數(shù)據(jù)倉庫維度建模， 并能根據(jù)客戶需求進行數(shù)據(jù)開發(fā)， 向模型更新數(shù)據(jù)

3. 使用過至少一種以上的etl工具

4. 熟練掌握java， 對hadoop相關(guān)的技術(shù)和組件(hdfs， mr， hbase， hive， spark， storm， kafka等）有全面深入了解

5. 熟練掌握shell或者python中的一種

6. 具備spark開發(fā)經(jīng)驗者優(yōu)先

7. 具備實時計算(kafka+storm/spark streaming) 經(jīng)驗者優(yōu)先

8. 具備數(shù)據(jù)分析和數(shù)據(jù)挖掘方面經(jīng)驗者優(yōu)先

第2篇 大數(shù)據(jù)開發(fā)工程師崗位職責(zé)職位要求

職責(zé)描述：

崗位職責(zé)：

1、運用大數(shù)據(jù)分析工具和技術(shù)解決風(fēng)險管理業(yè)務(wù)中遇到的實際問題與需求，如風(fēng)險評估、成長評價等，包括對模型進行設(shè)計、開發(fā)、驗證、測試、部署及監(jiān)控、優(yōu)化。。

2、基于海量用戶數(shù)據(jù)和特征，進行數(shù)據(jù)質(zhì)量檢查、特征加工、數(shù)據(jù)清洗等，建立數(shù)據(jù)挖掘模型。

3、評估數(shù)據(jù)源的質(zhì)量和價值，能結(jié)合業(yè)務(wù)需求和場景，從各種數(shù)據(jù)維度中挖掘數(shù)據(jù)價值，并設(shè)計不同的模型，應(yīng)用于不同的業(yè)務(wù)場景中。

職位要求：

1. 計算機、統(tǒng)計學(xué)相關(guān)背景，熟悉常用各類機器學(xué)習(xí)算法的原理（如邏輯回歸、決策樹、svm、神經(jīng)網(wǎng)絡(luò)、隨機森林、深度學(xué)習(xí)等）；

2.熟練使用sas、r、python等至少一種分析工具；

3.熟悉大數(shù)據(jù)分析平臺和工具，如hive，hadoop， spark等優(yōu)先；

4.有較強的邏輯思維能力、優(yōu)秀的溝通表達能力及團隊合作能力。

崗位要求：

學(xué)歷要求：本科

語言要求：不限

年齡要求：不限

工作年限：5-7年經(jīng)驗

第3篇 大數(shù)據(jù)開發(fā)工程師（杭州）職位描述與崗位職責(zé)任職要求

職位描述：

崗位職責(zé)：

1.參與大數(shù)據(jù)精準(zhǔn)學(xué)平臺設(shè)計與研發(fā)，在大數(shù)據(jù)采集、存儲、分析及應(yīng)用領(lǐng)域都會有所涉及。

2.參與需求分析、系統(tǒng)架構(gòu)設(shè)計、并完成需求設(shè)計相應(yīng)文檔的編寫。

3.參與核心代碼實現(xiàn)、系統(tǒng)性能優(yōu)化。

4.保質(zhì)保量地完成項目組分配的開發(fā)任務(wù)。

5.協(xié)助項目經(jīng)理進行技術(shù)支持工作，共同解決產(chǎn)品研發(fā)過程遇到的技術(shù)難題。

任職要求：

1. 具備3年及以上大數(shù)據(jù)系統(tǒng)開發(fā)經(jīng)驗，計算機相關(guān)專業(yè)本科及以上學(xué)歷；

2. 有實時流處理經(jīng)驗，掌握flink、storm等實時處理框架；

3. 熟悉并會使用spark mllib、機器學(xué)習(xí)、自然語言處理等相關(guān)技術(shù)和算法；

4. 具有hadoop/spark，以及kafka、flume、hbase、hive、zookeeper等大數(shù)據(jù)生態(tài)圈實際開發(fā)經(jīng)驗。深入了解hadoop/spark生態(tài)圈產(chǎn)品的工作原理及應(yīng)用場景；

5. 具備較強的數(shù)據(jù)分析，問題分析，邏輯思維能力，良好的溝通，團隊協(xié)作能力。

第4篇 大數(shù)據(jù)開發(fā)工程師（p7-p8)3職位描述與崗位職責(zé)任職要求

職位描述：

崗位職責(zé)：

分布式大數(shù)據(jù)系統(tǒng)開發(fā)、計算性能調(diào)優(yōu)、 高性能服務(wù)框架設(shè)計與開發(fā)；

參與項目的架構(gòu)設(shè)計、評審、技術(shù)攻堅及優(yōu)化；

參與系統(tǒng)文檔的撰寫、維護。

任職要求：

本科以上學(xué)歷，計算機或相關(guān)專業(yè)；

3年以上linu_后臺開發(fā)經(jīng)驗，有大規(guī)模系統(tǒng)開發(fā)經(jīng)驗；

精通http、tcp/ip協(xié)議，網(wǎng)絡(luò)編程；

熟悉linu_操作系統(tǒng)原理，常用工具；

熟悉常用大數(shù)據(jù)開源組件；

有高并發(fā)、大容量后臺服務(wù)系統(tǒng)設(shè)計經(jīng)驗；

具有良好的學(xué)習(xí)能力、溝通能力、團隊合作意識；

強烈的責(zé)任心與主動性，對所負(fù)責(zé)工作有owner意識，并能自我驅(qū)動成長；

對hadoop、flink、spark、lucene等開源項目有大規(guī)模應(yīng)用經(jīng)驗，contributor或者committer優(yōu)先。

第5篇 大數(shù)據(jù)開發(fā)工程師-spark職位描述與崗位職責(zé)任職要求

職位描述：

崗位職責(zé)：

1. 參與公司大數(shù)據(jù)產(chǎn)品規(guī)劃，大數(shù)據(jù)處理分析平臺的設(shè)計;

2. 負(fù)責(zé)數(shù)據(jù)分析、加工、清理、處理程序的開發(fā);

3. 負(fù)責(zé)數(shù)據(jù)相關(guān)平臺的搭建、維護和優(yōu)化。

4. 負(fù)責(zé)基于hadoop/spark/hive/kafka等分布式計算平臺實現(xiàn)離線分析、實時分析的計算框架的開發(fā)；

職位要求：

1. 熟悉java和scala語言、熟悉常用設(shè)計模式、具有代碼重構(gòu)意識;

2. 熟練使用hadoop、hbase、kafka、hive、spark、presto，熟悉底層框架和實現(xiàn)原理；

3. 使用spark streaming和spark sql進行數(shù)據(jù)處理， 并具有spark sql優(yōu)化經(jīng)驗;

4. 熟悉mysql數(shù)據(jù)庫性能優(yōu)化方法， 了解常見no-sql數(shù)據(jù)庫;

5. 有大規(guī)模hbase集群運維經(jīng)驗或?qū)base存儲原理熟悉者優(yōu)先；

6. 有數(shù)據(jù)挖掘、數(shù)據(jù)分析、機器學(xué)習(xí)研發(fā)實踐經(jīng)驗者優(yōu)先。

有機會接觸千億級海量數(shù)據(jù)的離線和實時的數(shù)據(jù)處理，涉及java，spark，hive，spark streaming，hbase，elasticsearch，flink等大數(shù)據(jù)的前沿技術(shù)和多云的統(tǒng)一架構(gòu)。

第6篇 大數(shù)據(jù)開發(fā)工程師（數(shù)據(jù)分析、信息安全、前端開發(fā)、數(shù)據(jù)對接）職位描述與崗位職責(zé)任職要求

職位描述：

數(shù)據(jù)分析工程師：

崗位職責(zé)：

1、負(fù)責(zé)結(jié)構(gòu)化數(shù)據(jù)和文本的數(shù)據(jù)處理、建模、分析等工作，如：數(shù)據(jù)清洗、中文分詞、情感分析、文本分類等；

2、負(fù)責(zé)數(shù)據(jù)需求的收集、整理和分析，配合其他同事完成結(jié)構(gòu)化數(shù)據(jù)和文本的需求分析；

3、負(fù)責(zé)分析結(jié)果的可視化展現(xiàn)；

4、負(fù)責(zé)核心算法的設(shè)計與優(yōu)化。

任職要求：

1、全日制本科畢業(yè)；

2、計算機或數(shù)學(xué)或軟件類或統(tǒng)計相關(guān)專業(yè)；

3、熟悉數(shù)據(jù)挖掘和文本挖掘的理論基礎(chǔ)，掌握統(tǒng)計模型、機器學(xué)習(xí)相關(guān)原理；

4、熟悉r/python/java等編程語言，熟悉常用數(shù)據(jù)結(jié)構(gòu)和算法，熟悉正則表達式的使用。

web前端開發(fā)工程師：

崗位職責(zé)：

1、負(fù)責(zé)前端框架設(shè)計及組件庫開發(fā)、前端開發(fā)工作統(tǒng)籌；

2、與后端工程師緊密配合，高效率、高質(zhì)量地完成頁面展現(xiàn)研發(fā)工作；

3、負(fù)責(zé)對產(chǎn)品頁面性能的優(yōu)化和維護；

4、負(fù)責(zé)數(shù)據(jù)可視化圖表顯示。

任職要求：

1、本科及以上學(xué)歷，專業(yè)不限。3年以上前端開發(fā)經(jīng)驗；

2、精通html5/css3、_html/_ml，熟悉頁面架構(gòu)和布局，對表現(xiàn)與數(shù)據(jù)分離、web語義化等有深刻理解；

3、在多瀏覽器兼容性問題及css/javascript性能優(yōu)化方面有一定的經(jīng)驗；

4、熟練掌握至少一種前端框架及工具、庫。如jquery、angular、webpack；

5、有echars、highcahrts、d3js等數(shù)據(jù)可視化框架開發(fā)經(jīng)驗優(yōu)先。

信息安全架構(gòu)工程師：

崗位職責(zé)：

1、 規(guī)劃車聯(lián)網(wǎng)安全架構(gòu)，不斷完善車聯(lián)網(wǎng)產(chǎn)品的安全規(guī)范和要求，跟進、解決存在的安全隱患；

2、 對上線前的軟件或者車上產(chǎn)品進行安全方面驗證及測試；

3、 跟進最新漏洞的研究工作，理解漏洞的原理，編制漏洞研究報告和防范措施；

4、 負(fù)責(zé)行業(yè)/國家車聯(lián)網(wǎng)汽車網(wǎng)絡(luò)安全部分的技術(shù)及標(biāo)準(zhǔn)規(guī)范的研究工作。

任職要求：

1、本科以上學(xué)歷，信息安全，計算機，通信等相關(guān)專業(yè)；

2、 擁有網(wǎng)絡(luò)安全專業(yè)技能，熟悉車載網(wǎng)絡(luò)架構(gòu)，模塊及協(xié)議；

3、 熟悉常見網(wǎng)絡(luò)/車輛安全漏洞，掌握漏洞原理以及解決方案具備獨立開展?jié)B透工作的能力；

4、 熟悉常見黑客攻擊手法，具備對黑客行為的入侵檢測能力；

5、 精通安全測試框架，理解網(wǎng)絡(luò)，應(yīng)用，數(shù)據(jù)等不同層面的安全。

數(shù)據(jù)對接工程師：

崗位職責(zé)：

1、負(fù)責(zé)內(nèi)部系統(tǒng)的對接工作；

2、第三方平臺的數(shù)據(jù)對接及程序維護；

3、負(fù)責(zé)各車型的數(shù)據(jù)采集要求整理及規(guī)劃；

4、熟悉數(shù)據(jù)結(jié)構(gòu)和常用算法，有良好的代碼規(guī)范，能對接入數(shù)據(jù)/系統(tǒng)提出優(yōu)化方案。

任職要求：

1、 本科以上學(xué)歷，信息化項目，計算機，無線傳輸?shù)认嚓P(guān)專業(yè)；

2、擁有信息化相關(guān)技能，熟悉系統(tǒng)間的交互對接流程；

3、熟悉數(shù)據(jù)庫的管理及查詢、同步工作；

4、熟悉信息對接的方式，能用api、視圖等進行對接工作。

第7篇 java大數(shù)據(jù)開發(fā)工程師職位描述與崗位職責(zé)任職要求

職位描述：

職責(zé)描述：

1. 精通java開發(fā)、熟悉restful和maven，精通主流java web開發(fā)框架spring、spring boot、spring data jpa、logback、mybatis；

2.熟悉對常用關(guān)系型數(shù)據(jù)庫和hdfs、hive，kafka、storm等讀寫操作，性能優(yōu)化;

3. 具備系統(tǒng)架構(gòu)設(shè)計能力，具備較強的java程序調(diào)優(yōu)能力及數(shù)據(jù)庫設(shè)計和sql調(diào)優(yōu)能力，具備良好的溝通能力；

4. 熟悉多線程編程、熟悉junit單元測試；

第8篇 阿里健康-合資公司-大數(shù)據(jù)開發(fā)工程師職位描述與崗位職責(zé)任職要求

職位描述：

崗位職責(zé)：

1、負(fù)責(zé)公司數(shù)據(jù)平臺項目的etl設(shè)計、實現(xiàn)以及優(yōu)化。

2、負(fù)責(zé)etl流程優(yōu)化，關(guān)鍵問題解決；

3、研究醫(yī)院信息化數(shù)據(jù)，負(fù)責(zé)數(shù)據(jù)建模、數(shù)據(jù)存儲設(shè)計；

4、使用etl技術(shù)對醫(yī)院信息系統(tǒng)數(shù)據(jù)進行提取、清洗、轉(zhuǎn)換和整合；

5、負(fù)責(zé)基于hadoop/spark生態(tài)的大數(shù)據(jù)離線/實時處理平臺開發(fā);

6、負(fù)責(zé)基于阿里云的ma_compute的大數(shù)據(jù)離線處理平臺開發(fā);

7、負(fù)責(zé)數(shù)據(jù)源調(diào)研、入庫、開發(fā)的全流程工作，并保證數(shù)據(jù)質(zhì)量；

崗位要求：

1、有2年以上醫(yī)療行業(yè)數(shù)據(jù)建模經(jīng)驗；了解數(shù)據(jù)建模方法論，并且在項目中實踐甚至優(yōu)化擴展；有大型項目建模經(jīng)驗優(yōu)先；對數(shù)據(jù)模型有獨到理解；

2、熟悉大數(shù)據(jù)平臺，了解hadoop、hive、hbase，有大型數(shù)據(jù)中心運維經(jīng)驗或?qū)嵤┙?jīng)驗者優(yōu)先；

3、2年以上醫(yī)院業(yè)務(wù)信息化實施開發(fā)經(jīng)歷優(yōu)先 ；有his、emr開發(fā)經(jīng)驗優(yōu)先；

4、有數(shù)據(jù)倉庫etl經(jīng)驗，對調(diào)度、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量等有一定理解；

5、有良好的邏輯思維能力，主動思考，善于學(xué)習(xí)，與團隊溝通無障礙；

6、熟悉java，python，shell，scala等任一種開發(fā)語言;

7、擁有良好的溝通、表達能力，工作認(rèn)真負(fù)責(zé)，學(xué)習(xí)能力強，執(zhí)行力強，樂于接受挑戰(zhàn)并具備較好的承壓能力；

第9篇 大數(shù)據(jù)開發(fā)工程師/專家（p6-p8）3職位描述與崗位職責(zé)任職要求

職位描述：

職責(zé)描述：

1.負(fù)責(zé)時空位置大數(shù)據(jù)對外接口后臺和服務(wù)框架的開發(fā)和運營；

2.負(fù)責(zé)時空位置大數(shù)據(jù)數(shù)據(jù)中、后臺的建設(shè)以及數(shù)據(jù)和服務(wù)安全方面的建設(shè)；

任職要求：

1.重點大學(xué)本科以上學(xué)歷，計算機及相關(guān)專業(yè)；

2.3年以上相關(guān)工作經(jīng)驗，精通算法與數(shù)據(jù)結(jié)構(gòu)，精通c/c++編程語言；

3.精通linu_、uni_編程環(huán)境，熟悉數(shù)據(jù)庫；

4.精通網(wǎng)絡(luò)編程，有分布式系統(tǒng)開發(fā)經(jīng)驗，有大平臺開發(fā)經(jīng)驗優(yōu)先；

5.熟悉gis和時空大數(shù)據(jù)處理和管理，有相關(guān)工作經(jīng)驗者優(yōu)先，

6.具備優(yōu)秀的獨立解決問題能力， 善于團隊合作，溝通良好，有一定的抗壓能力；

第10篇 健康科技中心-高級大數(shù)據(jù)開發(fā)工程師職位描述與崗位職責(zé)任職要求

職位描述：

職位描述：

1. 基于hadoop生態(tài)系統(tǒng)進行大數(shù)據(jù)平臺建設(shè)；

2. 負(fù)責(zé)各業(yè)務(wù)條線相關(guān)指標(biāo)數(shù)據(jù)的數(shù)據(jù)建模

3. 負(fù)責(zé)基于sqoop，hive、spark、sparksql、mysql進行大數(shù)據(jù)開發(fā)

4. 負(fù)責(zé)離線運算、實時計算平臺項目的設(shè)計、開發(fā)及運維

5. 負(fù)責(zé)對數(shù)據(jù)平臺進行性能調(diào)優(yōu)

任職要求：

1.統(tǒng)招本科或以上學(xué)歷，6年以上大數(shù)據(jù)開發(fā)工作經(jīng)驗；

2.熟練掌握shell、python開發(fā)語言；

3.熟練掌握hadoop、hive、hbase、spark、spark sql、storm、sqoop、kafka、flume、sparkmlib等分布式框架原理，有相關(guān)的調(diào)優(yōu)、運維、開發(fā)經(jīng)驗；

4.熟練掌握mysql數(shù)據(jù)庫集群；

5. 精通主流etl開發(fā)工具，如：informatica、data services、kettle;精通主流調(diào)度工具，如：azkaban， oozie；

6.有數(shù)據(jù)倉庫、分析系統(tǒng)、用戶畫像等產(chǎn)品開發(fā)經(jīng)驗者優(yōu)先；

7.有較強的數(shù)據(jù)和業(yè)務(wù)結(jié)合能力；

8.有醫(yī)療或者大健康背景優(yōu)先；

9.有較強的獨立、主動的學(xué)習(xí)能力，良好的溝通表達能力。

第11篇 大數(shù)據(jù)開發(fā)工程師（數(shù)倉方向）職位描述與崗位職責(zé)任職要求

職位描述：

崗位職責(zé)：

1. 理解業(yè)務(wù)需求，負(fù)責(zé)數(shù)據(jù)倉庫建設(shè)、etl流程的開發(fā)和優(yōu)化工作；

2. 解決業(yè)務(wù)數(shù)據(jù)分析、數(shù)據(jù)報表、數(shù)據(jù)異常相關(guān)的技術(shù)問題；

3. spark/yarn/hdfs 的性能改進、功能擴展、故障分析；

任職資格：

1. 計算機相關(guān)專業(yè)本科及以上學(xué)歷；

2. 精通java編程語言，并熟悉scala、python、shell等一門以上腳本語言；

3. 熟悉hadoop大數(shù)據(jù)平臺架構(gòu)，熟悉spark/spark sql/yarn開發(fā)調(diào)優(yōu)技術(shù)，具有相關(guān)項目經(jīng)驗

4. 掌握數(shù)據(jù)倉庫(dw)/olap/商業(yè)智能(bi)/數(shù)據(jù)統(tǒng)計理論，熟悉oracle/mysql數(shù)據(jù)庫；

5. 思路清晰，具備良好的溝通能力和理解能力，較強的學(xué)習(xí)能力以及快速解決問題的能力；

6. 具有高度的責(zé)任感，工作認(rèn)真、踏實。

福利待遇：

1、薪酬：有競爭力的薪酬體系，我們不止跟你談理想，錢也必須談一談~

2、交通：無論天涯，免費班車直達公司，驀然回首，地鐵就在公司不遠(yuǎn)處。。。

3、工作時間：5天7小時工作制，充足的休息讓你一整天元氣滿滿！

4、各種福利：五險一金小case，節(jié)日禮物福利補貼說不完！

5、團建活動：下午茶，團隊活動，部門聚餐，經(jīng)費充足不差錢，大公司就是這么壕！

6、發(fā)展平臺：想要升職加薪走向人生巔峰？上市公司晉升發(fā)展機會多多~

第12篇 大數(shù)據(jù)開發(fā)工程師（面向2020年畢業(yè)生）職位描述與崗位職責(zé)任職要求

職位描述：

此崗位面向2020年畢業(yè)生，坐標(biāo)深圳南山科技園，實習(xí)期薪資為3.5-4.5k；要求在公司全職實習(xí)半年以上，實習(xí)滿3個月且評審?fù)ㄟ^后可簽訂三方協(xié)議，實習(xí)滿6個月且評審?fù)ㄟ^后簽訂勞動合同，無試用期。

崗位職責(zé)：

1、從事大數(shù)據(jù)分布式存儲/應(yīng)用服務(wù)的設(shè)計和開發(fā)，挑戰(zhàn)大規(guī)模、高并發(fā)、易運維的分布式系統(tǒng)設(shè)計構(gòu)建；

2、參與負(fù)責(zé)大數(shù)據(jù)運營/風(fēng)控/分析等數(shù)據(jù)應(yīng)用產(chǎn)品開發(fā)迭代，包括需求討論需求/系統(tǒng)/算法的討論、設(shè)計及實現(xiàn)；

3、定位和解決集群組件如spark、hive、hbase、kafka的性能和高可用問題，協(xié)助集群監(jiān)控系統(tǒng)的開發(fā)。

任職要求：

1、2020年統(tǒng)招本科及以上學(xué)歷，計科類相關(guān)專業(yè)；

2、良好的計算機基礎(chǔ)；了解面向?qū)ο蠛驮O(shè)計模式，了解 spring ， mybatis 等常用框架，數(shù)據(jù)庫基礎(chǔ)扎實；

3、對技術(shù)有強烈的興趣，喜歡鉆研，具有良好的學(xué)習(xí)能力、溝通和團隊合作能力。

加分項：

1、熟悉python、ruby等語言；

2、熟練掌握常見linu_ shell命令；

3、喜歡在mac/linu_下進行開發(fā)；

4、有代碼潔癖，看到代碼中的壞味道有渾身不自在的感覺；

5、自我驅(qū)動、喜歡coding。

第13篇 大數(shù)據(jù)開發(fā)工程師（駐場開發(fā)）職位描述與崗位職責(zé)任職要求

職位描述：

崗位職責(zé)：

（1）根據(jù)業(yè)務(wù)進行數(shù)據(jù)需求的調(diào)研、設(shè)計、開發(fā)及驗證工作，并持續(xù)進行數(shù)據(jù)業(yè)務(wù)的優(yōu)化；

（2）負(fù)責(zé)大數(shù)據(jù)整體設(shè)計和開發(fā)工作，包括數(shù)據(jù)接入、清洗、計算、校驗等數(shù)據(jù)加工流程，并沉淀文檔；

（3）持續(xù)對系統(tǒng)的技術(shù)架構(gòu)進行改進和優(yōu)化，提升海量數(shù)據(jù)的查詢性能和用戶體驗。

（4）此崗位需駐場開發(fā)半年左右（地點：新疆）

任職資格：

（1）統(tǒng)招本科或以上學(xué)歷，計算機、數(shù)學(xué)等相關(guān)專業(yè)，工作至少3年以上；

（2）熟悉java/scala開發(fā)，有腳本語言（shell，python)開發(fā)經(jīng)驗者優(yōu)先；

（3）至少熟悉一種大數(shù)據(jù)處理棧技術(shù)，如hadoop、spark; 熟悉流計算應(yīng)用開發(fā)，如spark streaming， flink;熟練掌握大數(shù)據(jù)生態(tài)各個工具的原理及使用，如hive， sqoop， kafka等

（4）掌握hbase、redis、elastic search等開源大數(shù)據(jù)存儲技術(shù)，并能結(jié)合不同的業(yè)務(wù)場景深入使用；

（5）熟悉storm，spark streaming，flink，beam至少一種

（6）熟悉kafka，redis，es等相關(guān)組件

（7）對解決具有挑戰(zhàn)性的數(shù)據(jù)問題充滿激情，具有良好的分析問題和解決問題的能力，能夠勝任部分?jǐn)?shù)據(jù)分析，挖掘，建模工作。

第14篇 大數(shù)據(jù)開發(fā)工程師/架構(gòu)師職位描述與崗位職責(zé)任職要求

職位描述：

1、8年以上后端開發(fā)經(jīng)驗，有大數(shù)據(jù)處理經(jīng)驗；有實時處理工作經(jīng)歷并有一定解決方案者優(yōu)先；

2、熟悉大數(shù)據(jù)開源技術(shù)，包含（不限于）hadoop/spark/storm/hive/hbase/impala /flume/kafka/solr/es分布式框架/計算/存儲/檢索等相關(guān)技術(shù)，并有一定的hadoop生態(tài)系統(tǒng)運維經(jīng)驗；

3、至少掌握java/scala/python其中一門開發(fā)語言；

4、掌握sql，sparksql進行數(shù)據(jù)開發(fā)；較好的sql性能調(diào)優(yōu)經(jīng)驗；

5、優(yōu)秀的分析、解決問題能力，充分的數(shù)據(jù)敏感度；有一定的高性能支撐經(jīng)驗和故障排除能力；

6、具備強烈的工作責(zé)任感，喜歡鉆研，態(tài)度樂觀，團隊意識強。

第15篇 大數(shù)據(jù)開發(fā)工程師-偏數(shù)據(jù)模型方向-l80542職位描述與崗位職責(zé)任職要求

職位描述：

職責(zé)描述：

1、參與數(shù)據(jù)需求的溝通和模型設(shè)計；

2、負(fù)責(zé)大數(shù)據(jù)平臺的數(shù)據(jù)需求開發(fā)，包括實時和批量處理；

3、負(fù)責(zé)不同數(shù)據(jù)源的接入解析落地的設(shè)計開發(fā)工作；

4、負(fù)責(zé)數(shù)據(jù)質(zhì)量監(jiān)控，解決數(shù)據(jù)運行和質(zhì)量問題。

任職要求：

1、計算機本科以上學(xué)歷，至少有3年數(shù)據(jù)開發(fā)經(jīng)驗；

2、精通java/scala/python，至少有3年以上開發(fā)使用經(jīng)驗；

3、熟悉spark，hive，flink，jstorm等大數(shù)據(jù)實時計算技術(shù)；

4、掌握hive sql，sparksql，es query dsl 等查詢語言；擁有sql性能調(diào)優(yōu)經(jīng)驗；

5、具有較強的業(yè)務(wù)理解能力，較強的責(zé)任心、團隊合作能力和溝通能力；

6、有過圖數(shù)據(jù)庫開發(fā)或spark mllib開發(fā)經(jīng)驗者優(yōu)先考慮。