- 目錄
第1篇 大數(shù)據(jù)架構(gòu)資深工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、打造業(yè)界領(lǐng)先的存儲(chǔ)、計(jì)算等分布式系統(tǒng);
2、為海量數(shù)據(jù)和大規(guī)模業(yè)務(wù)系統(tǒng)提供可靠的基礎(chǔ)設(shè)施。
任職要求:
1、掌握分布式系統(tǒng)原理,對(duì)存儲(chǔ)、計(jì)算、消息隊(duì)列、集群管理中的一項(xiàng)或多項(xiàng)有深入的理解和認(rèn)識(shí);
2、樂于挑戰(zhàn)沒有明顯答案的問題,能快速理解業(yè)務(wù)場(chǎng)景,從具體問題中抽象出通用的解決方案;
3、存儲(chǔ)方向:對(duì) hdfs, rocksdb, leveldb, memcache, redis, mysql, hbase, kafka 的一項(xiàng)或多項(xiàng)有經(jīng)驗(yàn)者優(yōu)先;
4、計(jì)算方向:對(duì) spark, mapreduce, storm, hive, presto, impala 的一項(xiàng)或多項(xiàng)有經(jīng)驗(yàn)者優(yōu)先;
5、集群管理方向:對(duì) yarn, mesos 的一項(xiàng)或多項(xiàng)有經(jīng)驗(yàn)者優(yōu)先;
6、向開源社區(qū)貢獻(xiàn)過 patch 者優(yōu)先,請(qǐng)?jiān)诤啔v上說明。
第2篇 大數(shù)據(jù)架構(gòu)工程師 - 性能優(yōu)化職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、參與計(jì)算框架和服務(wù)的定制和改進(jìn),為公司批處理和流式計(jì)算能力提供支撐;
2、深入理解業(yè)務(wù)場(chǎng)景,解決性能瓶頸,實(shí)現(xiàn)業(yè)務(wù)目標(biāo);
3、計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)方面基礎(chǔ)技術(shù)的探索和儲(chǔ)備。
任職要求:
1、精通各種性能分析和調(diào)試工具,高效進(jìn)行分析;
2、熟練的 c/c++/java 開發(fā)能力,代碼質(zhì)量高;
3、熟悉網(wǎng)絡(luò)、linu_、hadoop 等系統(tǒng),能夠靈活解決新問題;
4、較好的團(tuán)隊(duì)協(xié)作和溝通能力。
第3篇 大數(shù)據(jù)架構(gòu)高級(jí)工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、打造業(yè)界領(lǐng)先的存儲(chǔ)、計(jì)算、調(diào)度、監(jiān)控等基礎(chǔ)設(shè)施;
2、參與存儲(chǔ)、計(jì)算、devinfra、監(jiān)控當(dāng)中的一個(gè)或多個(gè)方向。
任職要求:
1、掌握分布式系統(tǒng)原理,對(duì)存儲(chǔ)、計(jì)算、調(diào)度、監(jiān)控、消息隊(duì)列、集群管理中的一項(xiàng)或多項(xiàng)有深入的理解和認(rèn)識(shí);
2、樂于挑戰(zhàn)沒有明顯答案的問題,能快速理解業(yè)務(wù)場(chǎng)景,從具體問題中抽象出通用的解決方案;
3、存儲(chǔ)方向:對(duì) hdfs, rocksdb, ceph, hbase, kafka 的一項(xiàng)或多項(xiàng)有經(jīng)驗(yàn)者優(yōu)先;
4、計(jì)算方向:對(duì) yarn, spark, flink, hive 的一項(xiàng)或多項(xiàng)有經(jīng)驗(yàn)者優(yōu)先;
5、devinfra方向:對(duì) docker, mesos, kubernetes 的一項(xiàng)或多項(xiàng)有經(jīng)驗(yàn)者優(yōu)先;
6、監(jiān)控方向:對(duì) opentsdb, influ_db, prometheus, falcon 的一項(xiàng)或多項(xiàng)有經(jīng)驗(yàn)者優(yōu)先。
第4篇 大數(shù)據(jù)架構(gòu)研發(fā)工程師職位描述與崗位職責(zé)任職要求
職位描述:
職位描述:
1. 負(fù)責(zé)大數(shù)據(jù)平臺(tái)的架構(gòu)設(shè)計(jì)、環(huán)境和框架的搭建以及部分核心編碼工作;
2. 參與業(yè)務(wù)需求調(diào)研,根據(jù)需求及行業(yè)特點(diǎn)設(shè)計(jì)大數(shù)據(jù)解決方案并跟進(jìn)具體實(shí)施項(xiàng)目;
3. 規(guī)劃公司級(jí)數(shù)據(jù)平臺(tái),架構(gòu)實(shí)時(shí)流與離線數(shù)據(jù)計(jì)算平臺(tái);
4. 對(duì)業(yè)務(wù)需求進(jìn)行分析建模并持續(xù)進(jìn)行優(yōu)化,包括但不限于推薦、排序、用戶畫像等。
任職要求:
1. 本科及以上學(xué)歷,5年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn);
2. 深刻理解hadoop、hive、spark、kafka、elasticsearch、hbase、storm、sqoop、zookeeper、flume的工作原理及應(yīng)用;
3. 深刻理解大數(shù)據(jù)處理實(shí)時(shí)流計(jì)算、分布式計(jì)算、分布式文件系統(tǒng)、分布式存儲(chǔ)等相關(guān)技術(shù)和實(shí)現(xiàn)方法,有架構(gòu)和設(shè)計(jì)實(shí)踐經(jīng)驗(yàn);
4. 精通scala/java語言的一種或多種;
5. 有數(shù)據(jù)倉庫、大數(shù)據(jù)平臺(tái)及數(shù)據(jù)挖掘架構(gòu)設(shè)計(jì)經(jīng)驗(yàn)