- 目錄
-
第1篇 大數(shù)據(jù)開發(fā)工程師(p7-p8)3職位描述與崗位職責任職要求
職位描述:
崗位職責:
分布式大數(shù)據(jù)系統(tǒng)開發(fā)、計算性能調(diào)優(yōu)、 高性能服務(wù)框架設(shè)計與開發(fā);
參與項目的架構(gòu)設(shè)計、評審、技術(shù)攻堅及優(yōu)化;
參與系統(tǒng)文檔的撰寫、維護。
任職要求:
本科以上學歷,計算機或相關(guān)專業(yè);
3年以上linu_后臺開發(fā)經(jīng)驗,有大規(guī)模系統(tǒng)開發(fā)經(jīng)驗;
精通http、tcp/ip協(xié)議,網(wǎng)絡(luò)編程;
熟悉linu_操作系統(tǒng)原理,常用工具;
熟悉常用大數(shù)據(jù)開源組件;
有高并發(fā)、大容量后臺服務(wù)系統(tǒng)設(shè)計經(jīng)驗;
具有良好的學習能力、溝通能力、團隊合作意識;
強烈的責任心與主動性,對所負責工作有owner意識,并能自我驅(qū)動成長;
對hadoop、flink、spark、lucene等開源項目有大規(guī)模應用經(jīng)驗,contributor或者committer優(yōu)先。
第2篇 大數(shù)據(jù)開發(fā)工程師(數(shù)據(jù)分析、信息安全、前端開發(fā)、數(shù)據(jù)對接)職位描述與崗位職責任職要求
職位描述:
數(shù)據(jù)分析工程師:
崗位職責:
1、負責結(jié)構(gòu)化數(shù)據(jù)和文本的數(shù)據(jù)處理、建模、分析等工作,如:數(shù)據(jù)清洗、中文分詞、情感分析、文本分類等;
2、負責數(shù)據(jù)需求的收集、整理和分析,配合其他同事完成結(jié)構(gòu)化數(shù)據(jù)和文本的需求分析;
3、負責分析結(jié)果的可視化展現(xiàn);
4、負責核心算法的設(shè)計與優(yōu)化。
任職要求:
1、全日制本科畢業(yè);
2、計算機或數(shù)學或軟件類或統(tǒng)計相關(guān)專業(yè);
3、熟悉數(shù)據(jù)挖掘和文本挖掘的理論基礎(chǔ),掌握統(tǒng)計模型、機器學習相關(guān)原理;
4、熟悉r/python/java等編程語言,熟悉常用數(shù)據(jù)結(jié)構(gòu)和算法,熟悉正則表達式的使用。
web前端開發(fā)工程師:
崗位職責:
1、負責前端框架設(shè)計及組件庫開發(fā)、前端開發(fā)工作統(tǒng)籌;
2、與后端工程師緊密配合,高效率、高質(zhì)量地完成頁面展現(xiàn)研發(fā)工作;
3、負責對產(chǎn)品頁面性能的優(yōu)化和維護;
4、負責數(shù)據(jù)可視化圖表顯示。
任職要求:
1、本科及以上學歷,專業(yè)不限。3年以上前端開發(fā)經(jīng)驗;
2、精通html5/css3、_html/_ml,熟悉頁面架構(gòu)和布局,對表現(xiàn)與數(shù)據(jù)分離、web語義化等有深刻理解;
3、在多瀏覽器兼容性問題及css/javascript性能優(yōu)化方面有一定的經(jīng)驗;
4、熟練掌握至少一種前端框架及工具、庫。如jquery、angular、webpack;
5、有echars、highcahrts、d3js等數(shù)據(jù)可視化框架開發(fā)經(jīng)驗優(yōu)先。
信息安全架構(gòu)工程師:
崗位職責:
1、 規(guī)劃車聯(lián)網(wǎng)安全架構(gòu),不斷完善車聯(lián)網(wǎng)產(chǎn)品的安全規(guī)范和要求,跟進、解決存在的安全隱患;
2、 對上線前的軟件或者車上產(chǎn)品進行安全方面驗證及測試;
3、 跟進最新漏洞的研究工作,理解漏洞的原理,編制漏洞研究報告和防范措施;
4、 負責行業(yè)/國家車聯(lián)網(wǎng)汽車網(wǎng)絡(luò)安全部分的技術(shù)及標準規(guī)范的研究工作。
任職要求:
1、本科以上學歷,信息安全,計算機,通信等相關(guān)專業(yè);
2、 擁有網(wǎng)絡(luò)安全專業(yè)技能,熟悉車載網(wǎng)絡(luò)架構(gòu),模塊及協(xié)議;
3、 熟悉常見網(wǎng)絡(luò)/車輛安全漏洞,掌握漏洞原理以及解決方案具備獨立開展?jié)B透工作的能力;
4、 熟悉常見黑客攻擊手法,具備對黑客行為的入侵檢測能力;
5、 精通安全測試框架,理解網(wǎng)絡(luò),應用,數(shù)據(jù)等不同層面的安全。
數(shù)據(jù)對接工程師:
崗位職責:
1、負責內(nèi)部系統(tǒng)的對接工作;
2、第三方平臺的數(shù)據(jù)對接及程序維護;
3、負責各車型的數(shù)據(jù)采集要求整理及規(guī)劃;
4、熟悉數(shù)據(jù)結(jié)構(gòu)和常用算法,有良好的代碼規(guī)范,能對接入數(shù)據(jù)/系統(tǒng)提出優(yōu)化方案。
任職要求:
1、 本科以上學歷,信息化項目,計算機,無線傳輸?shù)认嚓P(guān)專業(yè);
2、擁有信息化相關(guān)技能,熟悉系統(tǒng)間的交互對接流程;
3、熟悉數(shù)據(jù)庫的管理及查詢、同步工作;
4、熟悉信息對接的方式,能用api、視圖等進行對接工作。
第3篇 大數(shù)據(jù)開發(fā)工程師(駐場開發(fā))職位描述與崗位職責任職要求
職位描述:
崗位職責:
(1)根據(jù)業(yè)務(wù)進行數(shù)據(jù)需求的調(diào)研、設(shè)計、開發(fā)及驗證工作,并持續(xù)進行數(shù)據(jù)業(yè)務(wù)的優(yōu)化;
(2)負責大數(shù)據(jù)整體設(shè)計和開發(fā)工作,包括數(shù)據(jù)接入、清洗、計算、校驗等數(shù)據(jù)加工流程,并沉淀文檔;
(3)持續(xù)對系統(tǒng)的技術(shù)架構(gòu)進行改進和優(yōu)化,提升海量數(shù)據(jù)的查詢性能和用戶體驗。
(4)此崗位需駐場開發(fā)半年左右(地點:新疆)
任職資格:
(1)統(tǒng)招本科或以上學歷,計算機、數(shù)學等相關(guān)專業(yè),工作至少3年以上;
(2)熟悉java/scala開發(fā),有腳本語言(shell,python)開發(fā)經(jīng)驗者優(yōu)先;
(3)至少熟悉一種大數(shù)據(jù)處理棧技術(shù),如hadoop、spark; 熟悉流計算應用開發(fā),如spark streaming, flink;熟練掌握大數(shù)據(jù)生態(tài)各個工具的原理及使用,如hive, sqoop, kafka等
(4)掌握hbase、redis、elastic search等開源大數(shù)據(jù)存儲技術(shù),并能結(jié)合不同的業(yè)務(wù)場景深入使用;
(5)熟悉storm,spark streaming,flink,beam至少一種
(6)熟悉kafka,redis,es等相關(guān)組件
(7)對解決具有挑戰(zhàn)性的數(shù)據(jù)問題充滿激情,具有良好的分析問題和解決問題的能力,能夠勝任部分數(shù)據(jù)分析,挖掘,建模工作。
第4篇 健康科技中心-高級大數(shù)據(jù)開發(fā)工程師職位描述與崗位職責任職要求
職位描述:
職位描述:
1. 基于hadoop生態(tài)系統(tǒng)進行大數(shù)據(jù)平臺建設(shè);
2. 負責各業(yè)務(wù)條線相關(guān)指標數(shù)據(jù)的數(shù)據(jù)建模
3. 負責基于sqoop,hive、spark、sparksql、mysql進行大數(shù)據(jù)開發(fā)
4. 負責離線運算、實時計算平臺項目的設(shè)計、開發(fā)及運維
5. 負責對數(shù)據(jù)平臺進行性能調(diào)優(yōu)
任職要求:
1.統(tǒng)招本科或以上學歷,6年以上大數(shù)據(jù)開發(fā)工作經(jīng)驗;
2.熟練掌握shell、python開發(fā)語言;
3.熟練掌握hadoop、hive、hbase、spark、spark sql、storm、sqoop、kafka、flume、sparkmlib等分布式框架原理,有相關(guān)的調(diào)優(yōu)、運維、開發(fā)經(jīng)驗;
4.熟練掌握mysql數(shù)據(jù)庫集群;
5. 精通主流etl開發(fā)工具,如:informatica、data services、kettle;精通主流調(diào)度工具,如:azkaban, oozie;
6.有數(shù)據(jù)倉庫、分析系統(tǒng)、用戶畫像等產(chǎn)品開發(fā)經(jīng)驗者優(yōu)先;
7.有較強的數(shù)據(jù)和業(yè)務(wù)結(jié)合能力;
8.有醫(yī)療或者大健康背景優(yōu)先;
9.有較強的獨立、主動的學習能力,良好的溝通表達能力。
第5篇 java大數(shù)據(jù)開發(fā)工程師職位描述與崗位職責任職要求
職位描述:
職責描述:
1. 精通java開發(fā)、熟悉restful和maven,精通主流java web開發(fā)框架spring、spring boot、spring data jpa、logback、mybatis;
2.熟悉對常用關(guān)系型數(shù)據(jù)庫和hdfs、hive,kafka、storm等讀寫操作,性能優(yōu)化;
3. 具備系統(tǒng)架構(gòu)設(shè)計能力,具備較強的java程序調(diào)優(yōu)能力及數(shù)據(jù)庫設(shè)計和sql調(diào)優(yōu)能力,具備良好的溝通能力;
4. 熟悉多線程編程、熟悉junit單元測試;
第6篇 高級大數(shù)據(jù)開發(fā)工程師職位描述與崗位職責任職要求
職位描述:
崗位職責:
1. 基于公司大數(shù)據(jù)產(chǎn)品進行數(shù)據(jù)開發(fā),包括數(shù)據(jù)的采集,清洗,預處理,存儲,建模,分析挖掘等
2. 根據(jù)業(yè)務(wù)用戶需要分析數(shù)據(jù),提供數(shù)據(jù)支持
3. 參與公司大數(shù)據(jù)產(chǎn)品的運維和監(jiān)控,保障數(shù)據(jù)質(zhì)量和服務(wù)穩(wěn)定性
任職要求:
1. 具備本科以上學歷, 計算機, 軟件以及相關(guān)專業(yè), 5年以上大數(shù)據(jù)開發(fā)經(jīng)驗
2. 熟悉數(shù)據(jù)倉庫維度建模, 并能根據(jù)客戶需求進行數(shù)據(jù)開發(fā), 向模型更新數(shù)據(jù)
3. 使用過至少一種以上的etl工具
4. 熟練掌握java, 對hadoop相關(guān)的技術(shù)和組件(hdfs, mr, hbase, hive, spark, storm, kafka等)有全面深入了解
5. 熟練掌握shell或者python中的一種
6. 具備spark開發(fā)經(jīng)驗者優(yōu)先
7. 具備實時計算(kafka+storm/spark streaming) 經(jīng)驗者優(yōu)先
8. 具備數(shù)據(jù)分析和數(shù)據(jù)挖掘方面經(jīng)驗者優(yōu)先
第7篇 大數(shù)據(jù)開發(fā)工程師(渠道團隊)職位描述與崗位職責任職要求
職位描述:
職責描述:
1.參與產(chǎn)品和項目研發(fā)工作,基于spark完成產(chǎn)品大數(shù)據(jù)架構(gòu)和功能開發(fā);
2.搭建和調(diào)優(yōu)大數(shù)據(jù)基礎(chǔ)平臺,包括hadoop/hbase/hive/sqoop/kafka/flume/spark/storm等大數(shù)據(jù)組件的環(huán)境搭建;
3.維護線上系統(tǒng)的穩(wěn)定性、可靠性,通過分析現(xiàn)象快速定位問題,進而提出優(yōu)化方案,改進要求;
任職要求:
1.計算機相關(guān)專業(yè)本科及以上學歷,5年以上大數(shù)據(jù)工作經(jīng)驗,有扎實的計算機理論基礎(chǔ);
2.熟練使用mapreduce、spark提供的api編程,具備海量數(shù)據(jù)加工處理(etl)相關(guān)經(jīng)驗;
3.熟練使用大數(shù)據(jù)的工具平臺,熟悉hadoop生態(tài)環(huán)境,對hadoop、spark、storm、hbase、hive等至少一個項目有著深入了解;
4.掌握數(shù)據(jù)分析的基本流程,具備數(shù)據(jù)采集、清洗、分析等環(huán)節(jié)的實戰(zhàn)經(jīng)驗;可以進行數(shù)據(jù)產(chǎn)品etl需求的調(diào)研及開發(fā);
5.熟悉etl任務(wù)調(diào)度及管理;
6.熟悉shell命令,進行簡單的shell編程;熟悉linu_文本處理命令,vi、awk、sed等命令
7.熟練使用hadoop或其他分布式平臺的一種,能使用java、python或其他語言編寫mapreduce進行大數(shù)據(jù)處理優(yōu)先;
8.有大型金融項目經(jīng)驗者優(yōu)先。'
第8篇 大數(shù)據(jù)開發(fā)工程師(面向2020年畢業(yè)生)職位描述與崗位職責任職要求
職位描述:
此崗位面向2020年畢業(yè)生,坐標深圳南山科技園,實習期薪資為3.5-4.5k;要求在公司全職實習半年以上,實習滿3個月且評審通過后可簽訂三方協(xié)議,實習滿6個月且評審通過后簽訂勞動合同,無試用期。
崗位職責:
1、從事大數(shù)據(jù)分布式存儲/應用服務(wù)的設(shè)計和開發(fā),挑戰(zhàn)大規(guī)模、高并發(fā)、易運維的分布式系統(tǒng)設(shè)計構(gòu)建;
2、參與負責大數(shù)據(jù)運營/風控/分析等數(shù)據(jù)應用產(chǎn)品開發(fā)迭代,包括需求討論需求/系統(tǒng)/算法的討論、設(shè)計及實現(xiàn);
3、定位和解決集群組件如spark、hive、hbase、kafka的性能和高可用問題,協(xié)助集群監(jiān)控系統(tǒng)的開發(fā)。
任職要求:
1、2020年統(tǒng)招本科及以上學歷,計科類相關(guān)專業(yè);
2、良好的計算機基礎(chǔ);了解面向?qū)ο蠛驮O(shè)計模式,了解 spring , mybatis 等常用框架,數(shù)據(jù)庫基礎(chǔ)扎實;
3、對技術(shù)有強烈的興趣,喜歡鉆研,具有良好的學習能力、溝通和團隊合作能力。
加分項:
1、熟悉python、ruby等語言;
2、熟練掌握常見linu_ shell命令;
3、喜歡在mac/linu_下進行開發(fā);
4、有代碼潔癖,看到代碼中的壞味道有渾身不自在的感覺;
5、自我驅(qū)動、喜歡coding。
第9篇 大數(shù)據(jù)開發(fā)工程師/專家(p6-p8)3職位描述與崗位職責任職要求
職位描述:
職責描述:
1.負責時空位置大數(shù)據(jù)對外接口后臺和服務(wù)框架的開發(fā)和運營;
2.負責時空位置大數(shù)據(jù)數(shù)據(jù)中、后臺的建設(shè)以及數(shù)據(jù)和服務(wù)安全方面的建設(shè);
任職要求:
1.重點大學本科以上學歷,計算機及相關(guān)專業(yè);
2.3年以上相關(guān)工作經(jīng)驗,精通算法與數(shù)據(jù)結(jié)構(gòu),精通c/c++編程語言;
3.精通linu_、uni_編程環(huán)境,熟悉數(shù)據(jù)庫;
4.精通網(wǎng)絡(luò)編程,有分布式系統(tǒng)開發(fā)經(jīng)驗,有大平臺開發(fā)經(jīng)驗優(yōu)先;
5.熟悉gis和時空大數(shù)據(jù)處理和管理,有相關(guān)工作經(jīng)驗者優(yōu)先,
6.具備優(yōu)秀的獨立解決問題能力, 善于團隊合作,溝通良好,有一定的抗壓能力;
第10篇 阿里健康-合資公司-大數(shù)據(jù)開發(fā)工程師職位描述與崗位職責任職要求
職位描述:
崗位職責:
1、負責公司數(shù)據(jù)平臺項目的etl設(shè)計、實現(xiàn)以及優(yōu)化。
2、負責etl流程優(yōu)化,關(guān)鍵問題解決;
3、研究醫(yī)院信息化數(shù)據(jù),負責數(shù)據(jù)建模、數(shù)據(jù)存儲設(shè)計;
4、使用etl技術(shù)對醫(yī)院信息系統(tǒng)數(shù)據(jù)進行提取、清洗、轉(zhuǎn)換和整合;
5、負責基于hadoop/spark生態(tài)的大數(shù)據(jù)離線/實時處理平臺開發(fā);
6、負責基于阿里云的ma_compute的大數(shù)據(jù)離線處理平臺開發(fā);
7、負責數(shù)據(jù)源調(diào)研、入庫、開發(fā)的全流程工作,并保證數(shù)據(jù)質(zhì)量;
崗位要求:
1、有2年以上醫(yī)療行業(yè)數(shù)據(jù)建模經(jīng)驗;了解數(shù)據(jù)建模方法論,并且在項目中實踐甚至優(yōu)化擴展;有大型項目建模經(jīng)驗優(yōu)先;對數(shù)據(jù)模型有獨到理解;
2、熟悉大數(shù)據(jù)平臺,了解hadoop、hive、hbase,有大型數(shù)據(jù)中心運維經(jīng)驗或?qū)嵤┙?jīng)驗者優(yōu)先;
3、2年以上醫(yī)院業(yè)務(wù)信息化實施開發(fā)經(jīng)歷優(yōu)先 ;有his、emr開發(fā)經(jīng)驗優(yōu)先;
4、有數(shù)據(jù)倉庫etl經(jīng)驗,對調(diào)度、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量等有一定理解;
5、有良好的邏輯思維能力,主動思考,善于學習,與團隊溝通無障礙;
6、熟悉java,python,shell,scala等任一種開發(fā)語言;
7、擁有良好的溝通、表達能力,工作認真負責,學習能力強,執(zhí)行力強,樂于接受挑戰(zhàn)并具備較好的承壓能力;
第11篇 大數(shù)據(jù)開發(fā)工程師職位描述與崗位職責任職要求
職位描述:
工作職責:
1、根據(jù)業(yè)務(wù)需求進行數(shù)據(jù)模型的調(diào)研、設(shè)計、開發(fā)及驗證工作,并持續(xù)進行模型的優(yōu)化;
2、負責數(shù)據(jù)模型架構(gòu)的構(gòu)建,建立數(shù)據(jù)抽取、清洗、校驗等數(shù)據(jù)加工流程規(guī)范及olap多維數(shù)據(jù)分析模型;
3、持續(xù)對系統(tǒng)的技術(shù)架構(gòu)進行改進和優(yōu)化,提升海量數(shù)據(jù)的查詢性能和用戶體驗。
任職資格:
1、統(tǒng)招本科或以上學歷,計算機、數(shù)據(jù)挖掘等相關(guān)專業(yè),工作至少3年以上;
2、熟悉java開發(fā),有腳本語言(shell,python)開發(fā)經(jīng)驗者優(yōu)先;
3、至少熟悉一種大數(shù)據(jù)處理技術(shù),如hadoop、spark;
4、掌握hbase、redis、elastic search等開源大數(shù)據(jù)存儲技術(shù),并能結(jié)合不同的業(yè)務(wù)場景深入使用;
5、精通sql,精通mysql、oracle、sql server等一種大型數(shù)據(jù)庫,以及數(shù)據(jù)庫的維護和優(yōu)化。
6、熟悉常用java web開發(fā)框架,如:spring、mybatis等;
7、熟悉多線程編程,并對java自帶線程池有一定研究;
8、對解決具有挑戰(zhàn)性的問題充滿激情,具有良好的分析問題和解決問題的能力。
第12篇 大數(shù)據(jù)開發(fā)工程師-偏數(shù)據(jù)模型方向-l80542職位描述與崗位職責任職要求
職位描述:
職責描述:
1、參與數(shù)據(jù)需求的溝通和模型設(shè)計;
2、負責大數(shù)據(jù)平臺的數(shù)據(jù)需求開發(fā),包括實時和批量處理;
3、負責不同數(shù)據(jù)源的接入解析落地的設(shè)計開發(fā)工作;
4、負責數(shù)據(jù)質(zhì)量監(jiān)控,解決數(shù)據(jù)運行和質(zhì)量問題。
任職要求:
1、計算機本科以上學歷,至少有3年數(shù)據(jù)開發(fā)經(jīng)驗;
2、精通java/scala/python,至少有3年以上開發(fā)使用經(jīng)驗;
3、熟悉spark,hive,flink,jstorm等大數(shù)據(jù)實時計算技術(shù);
4、掌握hive sql,sparksql,es query dsl 等查詢語言;擁有sql性能調(diào)優(yōu)經(jīng)驗;
5、具有較強的業(yè)務(wù)理解能力,較強的責任心、團隊合作能力和溝通能力;
6、有過圖數(shù)據(jù)庫開發(fā)或spark mllib開發(fā)經(jīng)驗者優(yōu)先考慮。
第13篇 大數(shù)據(jù)開發(fā)工程師 [數(shù)倉方向]職位描述與崗位職責任職要求
職位描述:
工作職責:
1、使用etl工具(如sqoop、kettle)進行數(shù)據(jù)加工、清洗等流程;
2、根據(jù)業(yè)務(wù)需求,進行數(shù)倉日常數(shù)據(jù)分析、數(shù)據(jù)報表開發(fā);
3、使用hive進行數(shù)據(jù)處理,及數(shù)據(jù)模型構(gòu)建;
4、具備良好的分析問題和解決問題的能力;
5、具備較強的溝通能力和邏輯表達能力,具備良好的團隊合作精神和主動溝通意識;
任職要求:
1、計算機相關(guān)專業(yè)本科及以上學歷;
2、熟練使用sql(mysql / oracle);
3、熟練數(shù)據(jù)庫/數(shù)據(jù)倉庫分層設(shè)計、寬表設(shè)計、星型模型設(shè)計等;
4、熟練etl工具、sqoop、kettle、spark等;
5、熟悉hadoop、hive、hdfs等常用大數(shù)據(jù)組件;
6、有互聯(lián)網(wǎng)業(yè)務(wù)分布式數(shù)據(jù)倉庫、cube、大數(shù)據(jù)數(shù)據(jù)分析等相關(guān)經(jīng)驗者加分;
第14篇 大數(shù)據(jù)開發(fā)工程師(數(shù)倉方向)職位描述與崗位職責任職要求
職位描述:
崗位職責:
1. 理解業(yè)務(wù)需求,負責數(shù)據(jù)倉庫建設(shè)、etl流程的開發(fā)和優(yōu)化工作;
2. 解決業(yè)務(wù)數(shù)據(jù)分析、數(shù)據(jù)報表、數(shù)據(jù)異常相關(guān)的技術(shù)問題;
3. spark/yarn/hdfs 的性能改進、功能擴展、故障分析;
任職資格:
1. 計算機相關(guān)專業(yè)本科及以上學歷;
2. 精通java編程語言,并熟悉scala、python、shell等一門以上腳本語言;
3. 熟悉hadoop大數(shù)據(jù)平臺架構(gòu),熟悉spark/spark sql/yarn開發(fā)調(diào)優(yōu)技術(shù),具有相關(guān)項目經(jīng)驗
4. 掌握數(shù)據(jù)倉庫(dw)/olap/商業(yè)智能(bi)/數(shù)據(jù)統(tǒng)計理論,熟悉oracle/mysql數(shù)據(jù)庫;
5. 思路清晰,具備良好的溝通能力和理解能力,較強的學習能力以及快速解決問題的能力;
6. 具有高度的責任感,工作認真、踏實。
福利待遇:
1、薪酬:有競爭力的薪酬體系,我們不止跟你談理想,錢也必須談一談~
2、交通:無論天涯,免費班車直達公司,驀然回首,地鐵就在公司不遠處。。。
3、工作時間:5天7小時工作制,充足的休息讓你一整天元氣滿滿!
4、各種福利:五險一金小case,節(jié)日禮物福利補貼說不完!
5、團建活動:下午茶,團隊活動,部門聚餐,經(jīng)費充足不差錢,大公司就是這么壕!
6、發(fā)展平臺:想要升職加薪走向人生巔峰?上市公司晉升發(fā)展機會多多~
第15篇 大數(shù)據(jù)開發(fā)工程師-spark職位描述與崗位職責任職要求
職位描述:
崗位職責:
1. 參與公司大數(shù)據(jù)產(chǎn)品規(guī)劃,大數(shù)據(jù)處理分析平臺的設(shè)計;
2. 負責數(shù)據(jù)分析、加工、清理、處理程序的開發(fā);
3. 負責數(shù)據(jù)相關(guān)平臺的搭建、維護和優(yōu)化。
4. 負責基于hadoop/spark/hive/kafka等分布式計算平臺實現(xiàn)離線分析、實時分析的計算框架的開發(fā);
職位要求:
1. 熟悉java和scala語言、熟悉常用設(shè)計模式、具有代碼重構(gòu)意識;
2. 熟練使用hadoop、hbase、kafka、hive、spark、presto,熟悉底層框架和實現(xiàn)原理;
3. 使用spark streaming和spark sql進行數(shù)據(jù)處理, 并具有spark sql優(yōu)化經(jīng)驗;
4. 熟悉mysql數(shù)據(jù)庫性能優(yōu)化方法, 了解常見no-sql數(shù)據(jù)庫;
5. 有大規(guī)模hbase集群運維經(jīng)驗或?qū)base存儲原理熟悉者優(yōu)先;
6. 有數(shù)據(jù)挖掘、數(shù)據(jù)分析、機器學習研發(fā)實踐經(jīng)驗者優(yōu)先。
有機會接觸千億級海量數(shù)據(jù)的離線和實時的數(shù)據(jù)處理,涉及java,spark,hive,spark streaming,hbase,elasticsearch,flink等大數(shù)據(jù)的前沿技術(shù)和多云的統(tǒng)一架構(gòu)。