- 目錄
第1篇 高級etl開發(fā)工程師職位描述與崗位職責任職要求
職位描述:
工作職責:
1、負責數據平臺的etl設計開發(fā)、工作流調度設計、存儲過程開發(fā)、自定義函數開發(fā)。
2、負責各業(yè)務系統數據源業(yè)務調研、數據調研、準確性完整性驗證。
3、負責項目中與第三方系統基于數據庫的數據對接、數據預處理、數據清洗、數據處理、數據導入、數據校驗相關開發(fā)工作。
4、負責數據平臺的etl相關軟件和工具的研發(fā)和改進。
5、負責數據平臺日常管理、跑批、維護、監(jiān)控、處理臨時數據需求。
任職資格:
1、本科計算機相關專業(yè),5年工作經驗
2、具備3年或以上etl數據處理相關開發(fā)經驗
3、擁有3年以上sql開發(fā)
4、掌握hadoop?hive-hql?基礎技能
第2篇 高級etl開發(fā)經理職位描述與崗位職責任職要求
職位描述:
崗位職能:
1. 基于公司數據建設需要,完成數據平臺構建、數據內容開發(fā)等工作。包括:數據平臺基礎設施建設、數據采集、etl、數倉及數據集市、數據應用產品等開發(fā)工作;
2. 充分理解需求文檔,基于此進行自測,交付高質量的開發(fā)代碼和數據內容;
3. 工作中對數據平臺基礎設施、數據內容建設等工作主動深度思考,提升效能并積極建言、促進組織和系統發(fā)展;
4. 團隊日常管理,及其他根據部門需要安排事宜。
崗位要求:
1. 信息技術類、數學、統計學、計量經濟學類專業(yè),本科,工作年限5年以上;
2. 熟悉數據倉庫模型設計和精通etl開發(fā)經驗 ,掌握3nf,kimball的維度建模設計方法,具備海量數據加工處理(etl)相關經驗 ;
3. 掌握至少一種數據庫開發(fā)技術:oracle、teradata、db2、mysql等,精通并靈活運用sql實現海量數據etl加工處理 ;
4. 熟悉linu_系統常規(guī)shell處理命令,靈活運用shell做的文本處理和系統操作 ;
5. 有從事分布式數據存儲與計算平臺應用開發(fā)經驗 ;
6. 熟練掌握一門或多門編程語言,并有大型項目建設經驗者優(yōu)先,重點考察python、perl、java ;
7. 熟悉數據倉庫領域知識和技能者優(yōu)先,包括但不局限于:數據開發(fā)測試工具與方法、數據質量等;
8. 良好的語言溝通與表達能力和自我驅動動力。
注:此崗位需在杭州一個月
第3篇 高級etl工程師崗位職責
高級etl 工程師 職責描述:
1. 負責基于spark技術的海量數據處理和建設工作;
2. 參與流式數據處理系統的開發(fā)和維護;
3. 協同數據采集團隊和數據應用團隊進行系統和代碼間對接;
4. 跟蹤新的大數據處理技術,并將新的大數據處理技術應用到醫(yī)療業(yè)務場景中;
任職要求:
1. 計算機軟件相關專業(yè),本科以上學歷
2. 兩年及以上spark相關開發(fā)經驗
3. 熟練掌握java,scala,python,c++語言中的一種
4. 熟悉linu_/uni_操作系統
5. 熟悉 mysql/hbase/hive/kafka/elasticsearch/redis 中一種或多種技術
6. 扎實的數據結構及算法基礎, 良好的英文文檔閱讀能力
7. 思路敏捷清晰,良好的語言表達和理解能力,良好的學習能力及創(chuàng)新意識
8. 具有優(yōu)良的問題分析及解決能力
9. 具有良好的團隊合作精神及協調能力
職責描述:
1. 負責基于spark技術的海量數據處理和建設工作;
2. 參與流式數據處理系統的開發(fā)和維護;
3. 協同數據采集團隊和數據應用團隊進行系統和代碼間對接;
4. 跟蹤新的大數據處理技術,并將新的大數據處理技術應用到醫(yī)療業(yè)務場景中;
任職要求:
1. 計算機軟件相關專業(yè),本科以上學歷
2. 兩年及以上spark相關開發(fā)經驗
3. 熟練掌握java,scala,python,c++語言中的一種
4. 熟悉linu_/uni_操作系統
5. 熟悉 mysql/hbase/hive/kafka/elasticsearch/redis 中一種或多種技術
6. 扎實的數據結構及算法基礎, 良好的英文文檔閱讀能力
7. 思路敏捷清晰,良好的語言表達和理解能力,良好的學習能力及創(chuàng)新意識
8. 具有優(yōu)良的問題分析及解決能力
9. 具有良好的團隊合作精神及協調能力
第4篇 高級etl工程師職位描述與崗位職責任職要求
職位描述:
1、負責公司數據平臺項目的etl設計、實現以及優(yōu)化。
2、負責etl流程優(yōu)化,關鍵問題解決、團隊技術與引導和前瞻性技術研究;
3、參與數據倉庫數據模型設計,進行數據質量監(jiān)測、校驗和提升;
4、使用etl技術對醫(yī)院信息系統數據進行提取、清洗、轉換和整合;
崗位要求:
1、至少三年以上etl數據開發(fā)經驗;計算機相關專業(yè)本科以上學歷,熟悉數據分析與數據挖掘理論;
2、熟悉dw實施方法論和常規(guī)etl構架,有整體etl開發(fā)經驗,深刻理解元數據管理;
3、熟練掌握oracle、sql server、mysql、postgresql等至少兩種主流數據庫的使用;
4、熟練掌握ssis、kettle、informatica等至少一種etl工具的使用;
5、精通sql、存儲過程、函數的使用,具備編寫、優(yōu)化復雜sql的能力;
6、對數字,數據敏感,具備良好的邏輯思維能力;
7、具備專業(yè)的業(yè)務研究、分析能力,能夠獨立開展業(yè)務調研、數據分析、數據建模、報告編寫工作;
8、有醫(yī)療衛(wèi)生數據平臺開發(fā)、實施經驗優(yōu)先;
9、能適應長期出差。
第5篇 高級etl技術經理職位描述與崗位職責任職要求
職位描述:
崗位職能:
1. 基于公司數據建設需要,完成數據平臺構建、數據內容開發(fā)等工作。包括:數據平臺基礎設施建設、數據采集、etl、數倉及數據集市、數據應用產品等開發(fā)工作;
2. 充分理解需求文檔,基于此進行自測,交付高質量的開發(fā)代碼和數據內容;
3. 工作中對數據平臺基礎設施、數據內容建設等工作主動深度思考,提升效能并積極建言、促進組織和系統發(fā)展;
4. 團隊日常管理,及其他根據部門需要安排事宜。
崗位要求:
1. 信息技術類、數學、統計學、計量經濟學類專業(yè),本科,工作年限5年以上;
2. 熟悉數據倉庫模型設計和精通etl開發(fā)經驗 ,掌握3nf,kimball的維度建模設計方法,具備海量數據加工處理(etl)相關經驗 ;
3. 掌握至少一種數據庫開發(fā)技術:oracle、teradata、db2、mysql等,精通并靈活運用sql實現海量數據etl加工處理 ;
4. 熟悉linu_系統常規(guī)shell處理命令,靈活運用shell做的文本處理和系統操作 ;
5. 有從事分布式數據存儲與計算平臺應用開發(fā)經驗 ;
6. 熟練掌握一門或多門編程語言,并有大型項目建設經驗者優(yōu)先,重點考察python、perl、java ;
7. 熟悉數據倉庫領域知識和技能者優(yōu)先,包括但不局限于:數據開發(fā)測試工具與方法、數據質量等;
8. 良好的語言溝通與表達能力和自我驅動動力。
注:此崗位需在杭州一個月