- 目錄
-
第1篇 數(shù)據(jù)倉庫架構工程師崗位職責
數(shù)據(jù)倉庫架構師/etl工程師 同程藝龍 同程網(wǎng)絡科技股份有限公司,同程旅游,同程藝龍,同程 位職責:
1、負責數(shù)據(jù)倉庫數(shù)據(jù)采集、處理、存儲以及挖掘分析的架構實現(xiàn),負責架構設計和指導團隊落地;
2、參與數(shù)據(jù)平臺建設,包括環(huán)境和框架的規(guī)劃搭建以及部分核心編碼工作;設計并實現(xiàn)對bi分析、數(shù)據(jù)產(chǎn)品開發(fā)、算法開發(fā)的系統(tǒng)性支持;
3、研究未來數(shù)據(jù)模型和計算框架的創(chuàng)新與落地,包括但不限于以下領域:大規(guī)模數(shù)據(jù)實時化、研發(fā)模式敏捷化、數(shù)據(jù)計算框架輕量化、數(shù)據(jù)模型組織方式業(yè)務化等方面。
職位要求:
1、具備5年以上dw系統(tǒng)建設經(jīng)驗;了解數(shù)據(jù)倉庫建設過程中的挑戰(zhàn)與問題,有實際架構設計和數(shù)據(jù)建模經(jīng)驗,有作為技術負責人系統(tǒng)化解決問題的成功案例;
2、有dw/bi架構體系中某些領域的專項建設經(jīng)驗,包括但不限于:數(shù)據(jù)質量、元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)監(jiān)控、流計算、分布式計算、分布式文件系統(tǒng)、分布式存儲、大規(guī)模數(shù)據(jù)實時化、跨平臺資源調度;
3、熟悉hadoop生態(tài)圈,包括但不限于:hadoop、hive、storm、spark、dremel、kylin等;
4、有海量數(shù)據(jù)建模實踐經(jīng)驗優(yōu)先。
第2篇 數(shù)據(jù)倉庫高級研發(fā)工程師職位描述與崗位職責任職要求
職位描述:
工作職責:
1. 負責參與制定數(shù)據(jù)倉庫設計與開發(fā)規(guī)范
2. 設計和開發(fā)數(shù)據(jù)產(chǎn)品和工具,負責相關業(yè)務數(shù)據(jù)需求的開發(fā)
3. 負責參與建立數(shù)據(jù)質量與數(shù)據(jù)安全保障體系:包括相關工具開發(fā),數(shù)據(jù)開發(fā)流程的權限管理和控制
任職資格:
1. 具備豐富的數(shù)據(jù)倉庫理論和實踐經(jīng)驗
2. 熟悉shell, python, hive sql編程,有豐富的sql查詢優(yōu)化經(jīng)驗
3. 具備電商業(yè)務解能力,有較強的邏輯、概率思維能力以及數(shù)學建模能力,善于分析、歸納、解決問題背景,并對業(yè)務邏輯有興趣者優(yōu)先
4. 有互聯(lián)網(wǎng)數(shù)據(jù)研發(fā)、海量數(shù)據(jù)處理分析、olap項目開發(fā)經(jīng)驗者優(yōu)先
第3篇 高級數(shù)據(jù)倉庫工程師職位描述與崗位職責任職要求
職位描述:
職責描述:
1、規(guī)劃業(yè)務主題模型,與業(yè)務溝通并管理數(shù)據(jù)需求;
2、數(shù)據(jù)倉庫和數(shù)據(jù)集市建設,數(shù)據(jù)模型設計和推進開發(fā);
3、負責數(shù)據(jù)治理,梳理工作流程和方法,保證口徑統(tǒng)一、指標規(guī)范、數(shù)據(jù)準確;
4、培養(yǎng)團隊數(shù)倉能力
任職要求:
1、有至少3年數(shù)據(jù)倉庫實施及至少2年模型設計經(jīng)驗,本科以上學歷;
2、深入理解dw,bi相關的知識,包括:etl、數(shù)據(jù)倉庫、olap、3nf和多維數(shù)據(jù)模型設計等;
3、熟悉數(shù)據(jù)倉庫建模理論,以及數(shù)據(jù)倉庫數(shù)據(jù)層級關系,精通多維數(shù)據(jù)模型設計,具備大型數(shù)據(jù)倉庫架構設計、模型設計和處理性能調優(yōu)等相關經(jīng)驗;
4、熟練使用主流數(shù)據(jù)模型設計工具。精通sql,能夠熟練使用hiveql和spark sql進行數(shù)據(jù)開發(fā),熟悉hive數(shù)據(jù)模型優(yōu)化;
5、熟悉db2、oracle、teradata、greenplum等主流數(shù)據(jù)倉庫模型設計之一
6、熟悉hadoop、hive,具備海量數(shù)據(jù)處理和性能調優(yōu)經(jīng)驗,對hadoop、hive源碼有研究更佳
7、學習能力強,優(yōu)秀的邏輯思維能力和業(yè)務需求分析能力,較好的溝通交流能力,能夠迅速融入團隊
第4篇 數(shù)據(jù)倉庫高級工程師職位描述與崗位職責任職要求
職位描述:
工作職責:
1、負責今日頭條的用戶產(chǎn)品線的數(shù)據(jù)倉庫架構設計、建模和etl開發(fā);
2、參與數(shù)據(jù)治理工作,提升數(shù)據(jù)易用性及數(shù)據(jù)質量,與數(shù)據(jù)工具團隊緊密合作;
3、理解并合理抽象業(yè)務需求,發(fā)揮數(shù)據(jù)價值,與業(yè)務團隊緊密合作。
任職要求:
1、精通數(shù)據(jù)倉庫實施方法論、深入了解數(shù)據(jù)倉庫體系,并支撐過實際業(yè)務場景;
2、具備較強的編碼能力,熟悉sql,python,hive,spark,kafka,storm中的多項,有至少tb以上級大數(shù)據(jù)處理經(jīng)驗;
3、對數(shù)據(jù)敏感,認真細致,善于從數(shù)據(jù)中發(fā)現(xiàn)疑點;
4、善于溝通,具備優(yōu)秀的技術與業(yè)務結合能力。
第5篇 資深數(shù)據(jù)倉庫工程師職位描述與崗位職責任職要求
職位描述:
工作職責
1、基于公司數(shù)據(jù)建設需要,完成數(shù)據(jù)內容開發(fā)等工作,維護與完善數(shù)據(jù)模型各類信息;
2、負責各業(yè)務線系統(tǒng)的信息調研、表與字段的關系梳理,根據(jù)業(yè)務及日常需求來優(yōu)化模型;
3、工作中對數(shù)據(jù)平臺基礎設施、數(shù)據(jù)內容建設等工作主動深度思考,提升效能、促進組織和系統(tǒng)發(fā)展;
4、負責核心數(shù)據(jù)倉庫模型代碼開發(fā),跟進etl的完成。負責接入源系統(tǒng)數(shù)據(jù)的腳本開發(fā)、數(shù)據(jù)測試與驗證、以及調度開發(fā)等工作;
5、與上游系統(tǒng)與下游應用同事溝通協(xié)作,推動各類需求在數(shù)據(jù)模型中的落地;
6、跟蹤、監(jiān)測、維護及優(yōu)化數(shù)據(jù)模型,確保數(shù)據(jù)模型被使用。
任職資格
1、本科以上學歷,5年或以上金融行業(yè)數(shù)據(jù)類工作經(jīng)驗;
2、熟悉hadoop生態(tài)系統(tǒng)組件,如:hive、mapreduce、spark、hbase等;具備編寫、優(yōu)化復雜sql的能力;
3、負責過大型數(shù)據(jù)平臺或數(shù)據(jù)倉庫設計,具有扎實的大數(shù)據(jù)和數(shù)據(jù)倉庫的理論功底;
4、掌握一定的數(shù)據(jù)質量管理方法論、評估模型設計、質量報表設計,能夠根據(jù)數(shù)據(jù)質量要求制定數(shù)據(jù)質量探查規(guī)則并進行實施;
5、掌握一定元數(shù)據(jù)管理方法論、元數(shù)據(jù)管理設計。
6、能夠圍繞業(yè)務和產(chǎn)品特征建模并解決問題;
7、具有豐富的數(shù)據(jù)實踐經(jīng)驗;
8、基于公司數(shù)據(jù)建設需要,完成數(shù)據(jù)內容開發(fā)等工作,維護與完善數(shù)據(jù)模型各類信息。
第6篇 數(shù)據(jù)倉庫工程師崗位職責
資深數(shù)據(jù)倉庫工程師(嚴選)-郵件事業(yè)部172 網(wǎng)易集團 網(wǎng)易(杭州)網(wǎng)絡有限公司,杭州網(wǎng)易,網(wǎng)易,網(wǎng)易杭州,網(wǎng)易游戲,網(wǎng)易網(wǎng)絡,網(wǎng)易集團,網(wǎng)易 工作職責:
1. 負責電商數(shù)據(jù)倉庫搭建、etl開發(fā)與維護;
2. 完成數(shù)據(jù)統(tǒng)計、編寫計算任務、接口開發(fā);
3. 參于數(shù)據(jù)規(guī)范制定、文檔編寫。
任職要求:
1.本科以上學歷,軟件工程/計算機/通信/數(shù)學等相關專業(yè);
2.熟悉hive sql語言,熟悉shell, python等至少一種腳本語言;
3.有hadoop、spark、flink等至少一種大數(shù)據(jù)平臺的使用經(jīng)驗;
4.理解能力強,善于溝通,有責任心和團隊精神;
5.有數(shù)據(jù)倉庫建設、商業(yè)數(shù)據(jù)分析、增長項目經(jīng)驗者優(yōu)先。
第7篇 數(shù)據(jù)倉庫開發(fā)高級工程師職位描述與崗位職責任職要求
職位描述:
工作職責:
1、負責字節(jié)跳動旗下的用戶產(chǎn)品線的數(shù)據(jù)倉庫架構設計、建模和etl開發(fā);
2、參與數(shù)據(jù)治理工作,提升數(shù)據(jù)易用性及數(shù)據(jù)質量,與數(shù)據(jù)工具團隊緊密合作;
3、理解并合理抽象業(yè)務需求,發(fā)揮數(shù)據(jù)價值,與業(yè)務團隊緊密合作。
任職要求:
1、精通數(shù)據(jù)倉庫實施方法論、深入了解數(shù)據(jù)倉庫體系,并支撐過實際業(yè)務場景;
2、具備較強的編碼能力,熟悉sql,python,hive,spark,kafka,storm中的多項,有至少tb以上級大數(shù)據(jù)處理經(jīng)驗;
3、對數(shù)據(jù)敏感,認真細致,善于從數(shù)據(jù)中發(fā)現(xiàn)疑點;
4、善于溝通,具備優(yōu)秀的技術與業(yè)務結合能力。
第8篇 數(shù)據(jù)倉庫開發(fā)工程師職位描述與崗位職責任職要求
職位描述:
職責描述:
1、負責數(shù)據(jù)倉庫的模型規(guī)劃設計工作;
2、負責數(shù)據(jù)倉庫etl規(guī)則設計、數(shù)據(jù)映射工作;
3、負責數(shù)據(jù)倉庫建設需求調研、業(yè)務溝通;
4、負責業(yè)務模型抽象和數(shù)據(jù)模型的設計開發(fā)。
任職要求:
1、計算機相關專業(yè)本科及以上學歷;
2、5年以上數(shù)據(jù)倉庫建模經(jīng)驗;
3、熟悉etl、數(shù)據(jù)倉庫開發(fā)及相關技術,熟悉hive等主流數(shù)據(jù)庫技術,精通sql開發(fā)與優(yōu)化;
4、熟練掌握維度建模理論,有能力分析業(yè)務數(shù)據(jù),完成數(shù)據(jù)倉庫模型設計;
5、有實時數(shù)據(jù)處理開發(fā)經(jīng)驗(如flink/sparkstreaming/storm)優(yōu)先;
6、對apache kylin以及其他olap技術深入了解者優(yōu)先;
7、工作態(tài)度踏實認真、積極主動,可接受較高強度工作,具備良好的溝通能力和協(xié)調能力。
第9篇 數(shù)據(jù)倉庫需求開發(fā)工程師職位描述與崗位職責任職要求
職位描述:
崗位職責:
1)負責數(shù)據(jù)需求溝通、需求調研、需求分析、需求跟蹤;
2)負責業(yè)務源系統(tǒng)業(yè)務梳理、 信息調研、數(shù)據(jù)分析;
3)負責邏輯數(shù)據(jù)模型設計、業(yè)務映射規(guī)則整理,數(shù)據(jù)業(yè)務規(guī)則、數(shù)據(jù)準確性等質量核對、校驗;
4)負責數(shù)據(jù)業(yè)務開發(fā);
任職要求:
1)本科以上及同等學歷,計算機、軟件等相關專業(yè)畢業(yè);
2)五年以上工作經(jīng)驗;
3)熟練數(shù)據(jù)庫sql語言,掌握數(shù)據(jù)庫中mysql/oracle/gp等至少2種;
4)熟悉linu_系統(tǒng),具備shell編程等開發(fā)能力;
5)熟悉通信行業(yè)基本業(yè)務及業(yè)務流程從事通信行業(yè)數(shù)模型設計經(jīng)驗優(yōu)先;
6)熟悉大數(shù)據(jù)技術(hadoop、hive等),并具備一定的數(shù)據(jù)處理開發(fā)經(jīng)驗;
7)熟悉數(shù)據(jù)倉庫模型優(yōu)先具有較強的邏輯分析能力、文字表達能力;
8)具有較強的需求判斷、引導能力,邏輯思維能力強,良好的溝通表達和文檔交付能力
加分項:
有移動通信行業(yè)(移動、電信、聯(lián)通)tb、pb級數(shù)據(jù)分析和處理經(jīng)驗;
有java,python等開發(fā)基礎;
第10篇 數(shù)據(jù)倉庫開發(fā)(高級)工程師職位描述與崗位職責任職要求
職位描述:
工作職責:
1、負責今日頭條的用戶產(chǎn)品線的數(shù)據(jù)倉庫架構設計、建模和etl開發(fā);
2、參與數(shù)據(jù)治理工作,提升數(shù)據(jù)易用性及數(shù)據(jù)質量,與數(shù)據(jù)工具團隊緊密合作;
3、理解并合理抽象業(yè)務需求,發(fā)揮數(shù)據(jù)價值,與業(yè)務團隊緊密合作。
任職要求:
1、精通數(shù)據(jù)倉庫實施方法論、深入了解數(shù)據(jù)倉庫體系,并支撐過實際業(yè)務場景;
2、具備較強的編碼能力,熟悉sql,python,hive,spark,kafka,storm中的多項,有至少tb以上級大數(shù)據(jù)處理經(jīng)驗;
3、對數(shù)據(jù)敏感,認真細致,善于從數(shù)據(jù)中發(fā)現(xiàn)疑點;
4、善于溝通,具備優(yōu)秀的技術與業(yè)務結合能力。
第11篇 數(shù)據(jù)倉庫開發(fā)工程師-創(chuàng)新工具職位描述與崗位職責任職要求
職位描述:
工作職責:
1、負責創(chuàng)新工具核心業(yè)務模塊數(shù)據(jù)倉庫的構建;
2、負責數(shù)據(jù)模型的設計,etl實施、etl性能優(yōu)化、etl數(shù)據(jù)監(jiān)控以及一系列技術問題的解決;
3、負責構建用戶主題、各業(yè)務線主題、推薦主題、企業(yè)bi門戶系統(tǒng);
4、負責全產(chǎn)品線數(shù)據(jù)字典維護,提升數(shù)據(jù)資產(chǎn)質量。
任職要求:
1、計算機、數(shù)學相關專業(yè)本科及以上學歷,三年以上大數(shù)據(jù)開發(fā)工作經(jīng)驗,數(shù)據(jù)挖掘和bi分析領域優(yōu)先;
2、熟練掌握hive/sql,熟悉spark/map-reduce/mpi分布式計算框架,熟悉大數(shù)據(jù)的離線和實時處理,可以進行海量數(shù)據(jù)模型的設計、開發(fā);
3、有產(chǎn)品sense,主動思考基于業(yè)務場景下的數(shù)據(jù)體系建設,而不單單只會做執(zhí)行;
4、工作認真,負責,良好的團隊合作精神和解決問題分析能力。鉆研技術克服困難,勇于挑戰(zhàn);
5、有分析經(jīng)驗的優(yōu)先。
第12篇 廣告數(shù)據(jù)倉庫工程師職位描述與崗位職責任職要求
職位描述:
工作職責:
1、廣告業(yè)務數(shù)據(jù)倉庫建設和管理,包括但不限于數(shù)據(jù)質量、數(shù)據(jù)模型、數(shù)據(jù)安全相關標準的制定;
2、負責與業(yè)務團隊協(xié)同規(guī)劃與設計數(shù)據(jù)倉庫模型,并快速實現(xiàn);
3、參與數(shù)據(jù)治理工作,提升數(shù)據(jù)易用性及數(shù)據(jù)質量;
4、參與大數(shù)據(jù)應用規(guī)劃、為數(shù)據(jù)挖據(jù)、應用團隊提供應用指導。
任職要求:
1、本科以上學歷,2年以上互聯(lián)網(wǎng)業(yè)務數(shù)據(jù)倉庫模型設計、開發(fā)經(jīng)驗;
2、熟練使用hadoop及hive,熟悉hql、java、python等編程語言;
3、具有web開發(fā)經(jīng)驗者優(yōu)先;
4、有elasticsearch、druid、hbase使用經(jīng)驗者優(yōu)先。
第13篇 數(shù)據(jù)倉庫工程師崗位職責數(shù)據(jù)倉庫工程師職責任職要求
數(shù)據(jù)倉庫工程師崗位職責
工作內容:
1.集團大數(shù)據(jù)可視化、數(shù)據(jù)管理、元數(shù)據(jù)等核心數(shù)據(jù)平臺研發(fā);
2.負責維護和搭建高性能的hbase/hadoop/spark/storm等離線和實時分布式計算平臺,并根據(jù)系統(tǒng)壓力提前規(guī)劃并給出性能優(yōu)化方案;
3.為運營決策、線上數(shù)據(jù)服務提供可靠穩(wěn)定的數(shù)據(jù)服務;
4.負責開源大數(shù)據(jù)平臺與產(chǎn)品和相關技術的追蹤和研究;
職位要求:
1.計算機相關專業(yè)本科以上學歷 - 扎實的php/python/java編程能力;
2.了解olap、etl、分布式數(shù)據(jù)庫 - 具有良好的平臺化思維,溝通理解能力,和團隊協(xié)作精神;
具備以下經(jīng)驗者優(yōu)先:
- 熟練使用各種數(shù)理統(tǒng)計、數(shù)據(jù)/日志分析及可視化工具者;
- 精通habse、hive、strom、zookeeper、spark等分布式開源軟件,有多年實際開發(fā)和應用經(jīng)驗;
- 具有開源項目經(jīng)驗者;
工作內容:
1.集團大數(shù)據(jù)可視化、數(shù)據(jù)管理、元數(shù)據(jù)等核心數(shù)據(jù)平臺研發(fā);
2.負責維護和搭建高性能的hbase/hadoop/spark/storm等離線和實時分布式計算平臺,并根據(jù)系統(tǒng)壓力提前規(guī)劃并給出性能優(yōu)化方案;
3.為運營決策、線上數(shù)據(jù)服務提供可靠穩(wěn)定的數(shù)據(jù)服務;
4.負責開源大數(shù)據(jù)平臺與產(chǎn)品和相關技術的追蹤和研究;
職位要求:
1.計算機相關專業(yè)本科以上學歷 - 扎實的php/python/java編程能力;
2.了解olap、etl、分布式數(shù)據(jù)庫 - 具有良好的平臺化思維,溝通理解能力,和團隊協(xié)作精神;
具備以下經(jīng)驗者優(yōu)先:
- 熟練使用各種數(shù)理統(tǒng)計、數(shù)據(jù)/日志分析及可視化工具者;
- 精通habse、hive、strom、zookeeper、spark等分布式開源軟件,有多年實際開發(fā)和應用經(jīng)驗;
- 具有開源項目經(jīng)驗者;
第14篇 高級數(shù)據(jù)倉庫開發(fā)工程師職位描述與崗位職責任職要求
職位描述:
職責描述:
1.能夠獨立的分析和設計數(shù)據(jù)倉庫需求解決方案;
2.善于和用戶溝通、準確了解和定義業(yè)務需求并設計解決方案;
3.熟練掌握mysql數(shù)據(jù)庫,精通sql語句編寫;
5.有數(shù)據(jù)倉庫/數(shù)據(jù)集市相關項目背景者有限考慮;
6.5年以上數(shù)據(jù)庫實際項目開發(fā)經(jīng)驗;
7.熟練掌握etl工具,掌握kettle/informatica開發(fā)者優(yōu)先;
8.熟悉shell、perl等腳本語言者優(yōu)先;
9.良好的溝通和學習能力。
第15篇 數(shù)據(jù)倉庫/etl/bi工程師職位描述與崗位職責任職要求
職位描述:
職責描述:
1、負責數(shù)據(jù)倉庫建模,業(yè)務數(shù)據(jù)集市建設開發(fā)
2、負責數(shù)據(jù)倉庫etl流程的優(yōu)化及解決etl相關技術問題、etl流程監(jiān)控,保障數(shù)據(jù)平臺架構穩(wěn)定性
3、建立數(shù)據(jù)分析指標體系,不斷完善指標體系和分析模型;
4、通過專項分析,輸出專項分析報告
5、負責數(shù)據(jù)分析相關需求和數(shù)據(jù)測試的工作
任職要求:
學歷要求:
全日制統(tǒng)考類本科及以上學歷,計算機、通信、電子、軟件工程、統(tǒng)計學、應用數(shù)學、數(shù)據(jù)分析等相關專業(yè)
專業(yè)技能:
1、熟悉數(shù)據(jù)倉庫各類模型建模理論,熟悉數(shù)據(jù)倉庫數(shù)據(jù)分層架構和多維數(shù)據(jù)模型設計;
2、豐富的數(shù)據(jù)分析經(jīng)驗,熟練掌握sql、hql、sparksql,擅長運用其分析并完成復雜業(yè)務數(shù)據(jù)查詢
3、掌握至少一種數(shù)據(jù)庫開發(fā)技術:mysql/oracle/db2等,靈活運用sql實現(xiàn)海量數(shù)據(jù)etl加工處理;
4、熟悉hadoop生態(tài)(如:hdfs/mapreduce/hive/hbase等),并有相關實踐經(jīng)驗;
5、熟練掌握一門或多門編程語言(如:python/shell/java/c++等),并有大型項目建設經(jīng)驗者優(yōu)先;
素質:
1、敏銳的數(shù)據(jù)觀察和分析能力,及時發(fā)現(xiàn)和分析其中隱含的變化和問題并給出建議;
2、良好的溝通能力和團隊精神,較強的學習能力,能承擔一定的工作壓力。
經(jīng)驗:
至少2年以上數(shù)據(jù)倉庫(離線&實時)模型設計開發(fā)、etl設計開發(fā)的相關經(jīng)驗,有通信運營商o域/b域大數(shù)據(jù)、智慧城市大數(shù)據(jù)的數(shù)據(jù)倉庫、etl設計研發(fā)經(jīng)驗者優(yōu)先'
第16篇 etl工程師(中級數(shù)據(jù)倉庫工程師)職位描述與崗位職責任職要求
職位描述:
職責描述:
1、 負責數(shù)據(jù)倉庫建模和etl技術工作,參與數(shù)據(jù)項目各類數(shù)據(jù)源etl的接口設計和文檔、流程規(guī)范;
2、負責項目中數(shù)據(jù)清洗、數(shù)據(jù)處理、數(shù)據(jù)校驗相關開發(fā)工作;
3. 配合使用主流數(shù)據(jù)挖掘工具、etl工具、bi展現(xiàn)的設計和開發(fā);
4、 能夠按照公司全面質量管理的要求,高質量地完成各類技術支持工作。
任職要求:
1.計算機相關專業(yè)本科以上學歷,3年以上工作經(jīng)驗;
2.熟悉etl開發(fā)、數(shù)據(jù)倉庫設計流程,熟悉mysql、oracle, ms sql server等主流數(shù)據(jù)庫,表結構設計,存儲過程編寫;
3.有一定的sql調優(yōu)知識和經(jīng)驗,具有bi相關知識;
4.有hana、hive經(jīng)驗優(yōu)先;
5.具備財務基礎知識或者erp基礎知識者優(yōu)先;