- 目錄
-
第1篇 大數(shù)據(jù)行業(yè)專家職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
負(fù)責(zé)部門團(tuán)隊(duì)人員規(guī)劃、能力建設(shè)、業(yè)務(wù)發(fā)展方向引導(dǎo)
任職要求:
1、熟悉大數(shù)據(jù)發(fā)展方向、主流技術(shù)及市場(chǎng)現(xiàn)狀,深入理解行業(yè)客戶訴求
2、5年以上相關(guān)工作經(jīng)驗(yàn),具備行業(yè)屬性,在金融、公共安全、醫(yī)療等領(lǐng)域有一定探索
3、有團(tuán)隊(duì)管理經(jīng)驗(yàn),能保障團(tuán)隊(duì)整體能力提升
4、符合公司價(jià)值觀,品德端正,積極進(jìn)取,勇于擔(dān)當(dāng),善于學(xué)習(xí),追求卓越,心理韌性強(qiáng)
5、具備較強(qiáng)的創(chuàng)新、溝通影響能力、組織協(xié)調(diào)能力,同時(shí)有良好的評(píng)估探究問題、人際關(guān)系構(gòu)建能力
第2篇 大數(shù)據(jù)計(jì)算引擎高級(jí)工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、研發(fā)業(yè)界領(lǐng)先的大數(shù)據(jù)計(jì)算引擎,服務(wù)于今日頭條全公司的數(shù)十個(gè)用戶產(chǎn)品線;
2、面向超大規(guī)模數(shù)據(jù)問題,每天千億增量的用戶行為數(shù)據(jù),秒級(jí)處理pb級(jí)別的數(shù)據(jù)計(jì)算;
3、善于理解和抽象業(yè)務(wù)問題,支撐多樣的海量數(shù)據(jù)分析場(chǎng)景。
任職要求:
1、強(qiáng)悍的系統(tǒng)設(shè)計(jì)&編碼能力,追求優(yōu)雅的設(shè)計(jì)和優(yōu)秀的代碼質(zhì)量,高標(biāo)準(zhǔn),快速行動(dòng);
2、對(duì)hive/kylin/presto/spark/tez/impala 的一項(xiàng)或多項(xiàng)有深入研究者優(yōu)先;
3、有pb規(guī)模的數(shù)據(jù)處理經(jīng)驗(yàn)者優(yōu)先/4、開源項(xiàng)目commiter或貢獻(xiàn)過patch 者優(yōu)先,請(qǐng)?jiān)诤?jiǎn)歷上說明。
第3篇 高級(jí)大數(shù)據(jù)產(chǎn)品研發(fā)工程師職位描述與崗位職責(zé)任職要求
職位描述:
崗位職責(zé):
1. 參與公司數(shù)據(jù)開發(fā)平臺(tái)、bi產(chǎn)品等大數(shù)據(jù)產(chǎn)品的設(shè)計(jì)和開發(fā);
2. 負(fù)責(zé)數(shù)據(jù)開發(fā)平臺(tái)、bi產(chǎn)品等大數(shù)據(jù)產(chǎn)品的部署和維護(hù),保證其穩(wěn)定和可靠;
3. 關(guān)注和參與大數(shù)據(jù)方向開源產(chǎn)品的技術(shù)動(dòng)態(tài)與演進(jìn),推動(dòng)產(chǎn)品與技術(shù)架構(gòu)持續(xù)更新;
任職要求:
1. 計(jì)算機(jī)相關(guān)專業(yè),本科及以上學(xué)歷,5年以上軟件開發(fā)經(jīng)驗(yàn),3年以上互聯(lián)網(wǎng)產(chǎn)品或分布式系統(tǒng)開發(fā)設(shè)計(jì)經(jīng)驗(yàn);
2. 精通java, python, scala等一種或幾種編程語言, 并熟悉linu_操作系統(tǒng)及bash shell編程;
3. 有hadoop/spark/hive/presto/hbase/elasticsearch/kafka等使用經(jīng)驗(yàn), 并熟悉上述常用的分布式系統(tǒng)架構(gòu)設(shè)計(jì)和原理;
4. 熟悉微服務(wù)框架及相關(guān)技術(shù), 如dubbo, springcloud等;
5. 熟悉mysql、redis, 并了解或接觸過其他數(shù)據(jù)庫如 oracle, sqlserver, postgresql, mongodb等;
6. 了解容器技術(shù), 如docker, kubernetes;
7. 具有一定的軟件設(shè)計(jì)能力, 熱愛大數(shù)據(jù)和技術(shù),相信技術(shù)改變世界,學(xué)習(xí)能力強(qiáng),認(rèn)同數(shù)據(jù)價(jià)值,有面向業(yè)務(wù)的思維, 較強(qiáng)的自主學(xué)習(xí)能力和英文技術(shù)文檔閱讀能力;
8. 良好的溝通能力、團(tuán)隊(duì)精神及服務(wù)意識(shí),勇于接受挑戰(zhàn),能承受較大的工作壓力;
9. 有生產(chǎn)環(huán)境快速trouble-shooting的經(jīng)驗(yàn)和能力者優(yōu)先;
10. 有olap,多維度數(shù)據(jù)分析經(jīng)驗(yàn)優(yōu)先,有對(duì)數(shù)據(jù)倉庫有較強(qiáng)的理論基礎(chǔ)和理解者優(yōu)先;
第4篇 大數(shù)據(jù)安全專家職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1、負(fù)責(zé)大數(shù)據(jù)安全整體技術(shù)解決方案的牽頭設(shè)計(jì)、編寫,以及部分落地產(chǎn)品的設(shè)計(jì);
2、負(fù)責(zé)公司數(shù)據(jù)安全戰(zhàn)略級(jí)項(xiàng)目的售前咨詢,推進(jìn)公司整體數(shù)據(jù)安全解決方案體系建設(shè)和完善。
任職要求:
1、碩士以上學(xué)歷,3年以上數(shù)據(jù)安全、網(wǎng)絡(luò)安全或者大數(shù)據(jù)領(lǐng)域工作經(jīng)驗(yàn);
2、具有智慧城市、智慧公安、大型企業(yè)網(wǎng)絡(luò)安全、數(shù)據(jù)安全或者大數(shù)據(jù)解決方案工作經(jīng)驗(yàn)者優(yōu)先;
3、熟悉并研究過數(shù)據(jù)安全生命周期、數(shù)據(jù)治理、個(gè)人隱私保護(hù)、gdpr、大數(shù)據(jù)安全、dsmm者優(yōu)先;
4、熟悉并研究過前沿?cái)?shù)據(jù)安全技術(shù),如:大數(shù)據(jù)安全、同態(tài)加密、數(shù)據(jù)脫敏、數(shù)據(jù)鑒權(quán);
5、熟悉國(guó)內(nèi)外大數(shù)據(jù)安全、網(wǎng)絡(luò)安全行業(yè)發(fā)展,熟悉hadoop/hive安全設(shè)計(jì);
6、具有良好的溝通、演講和編寫解決方案的能力。
第5篇 大數(shù)據(jù)研發(fā)工程師-產(chǎn)品運(yùn)營(yíng)方向職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、負(fù)責(zé)企業(yè)級(jí)大數(shù)據(jù)平臺(tái)的研發(fā),服務(wù)于今日頭條公司內(nèi)外的幾十條產(chǎn)品線;
2、不局限于按部就班的研發(fā)工作,有強(qiáng)烈的產(chǎn)品sense,對(duì)用戶體驗(yàn)敏感,能夠綜合運(yùn)用技術(shù)/產(chǎn)品/運(yùn)營(yíng)方案,提升終端用戶體驗(yàn);
3、平臺(tái)產(chǎn)品包括但不限于:用戶行為分析,查詢中心,bi報(bào)表,元數(shù)據(jù)管理,abtest系統(tǒng),數(shù)據(jù)開發(fā)套件等;
任職要求:
1、計(jì)算機(jī)等相關(guān)專業(yè)優(yōu)先,本科及以上學(xué)歷;
2、復(fù)合型人才,有研發(fā)能力的pm,或有產(chǎn)品運(yùn)營(yíng)能力的研發(fā)等均可投遞;
3、做事積極主動(dòng),優(yōu)秀的組織協(xié)調(diào),推進(jìn)執(zhí)行能力,思路手段靈活,對(duì)用戶體驗(yàn)負(fù)責(zé);有數(shù)據(jù)分析,大數(shù)據(jù)研發(fā),數(shù)據(jù)產(chǎn)品設(shè)計(jì),售前售后等經(jīng)驗(yàn)之一者,優(yōu)先考慮;
第6篇 大數(shù)據(jù)平臺(tái)高級(jí)工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、負(fù)責(zé)公司級(jí)的通用數(shù)據(jù)平臺(tái)和分析型產(chǎn)品,服務(wù)于今日頭條全公司的數(shù)十個(gè)用戶產(chǎn)品線;
2、面向pb級(jí)超大規(guī)模數(shù)據(jù)問題,每天處理千億增量的用戶行為數(shù)據(jù);
3、為大數(shù)據(jù)的全生命周期提供服務(wù),覆蓋數(shù)據(jù)產(chǎn)生,傳輸,建模,統(tǒng)計(jì)分析,實(shí)驗(yàn)評(píng)估,可視化的全流程;
4、構(gòu)建設(shè)計(jì)良好的數(shù)據(jù)流、數(shù)據(jù)倉庫、調(diào)度系統(tǒng)、查詢引擎,數(shù)據(jù)服務(wù)、分析系統(tǒng)、流程規(guī)范,數(shù)據(jù)工具/產(chǎn)品,降低數(shù)據(jù)的使用門檻,保證系統(tǒng)穩(wěn)定高效運(yùn)行,以實(shí)現(xiàn)數(shù)據(jù)的最大價(jià)值。
任職要求:
1、熟悉多項(xiàng)大數(shù)據(jù)處理/分析相關(guān)的工具/框架,e.g.hadoop, mapreduce, hive, storm, spark, kylin,scribe, kafka, hbase, canal,sqoop etc;
2、強(qiáng)悍的編碼能力,生產(chǎn)環(huán)境快速 trouble-shooting能力,對(duì)新技術(shù)有強(qiáng)烈的學(xué)習(xí)熱情;
3、優(yōu)秀的理解溝通能力,能快速理解業(yè)務(wù)背景,對(duì)數(shù)據(jù)敏感,崇尚數(shù)據(jù)說話,深信數(shù)據(jù)在驅(qū)動(dòng)業(yè)務(wù)、支撐決策上的價(jià)值,有web應(yīng)用開發(fā)能力者優(yōu)先。
第7篇 大數(shù)據(jù)開發(fā)高級(jí)工程師-etl方向職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、 根據(jù)公司數(shù)據(jù)分析需求進(jìn)行基于hadoop 平臺(tái)的項(xiàng)目開發(fā);
2、 根據(jù)需求進(jìn)行數(shù)據(jù)倉庫模型設(shè)計(jì),熟練使用kettle工具進(jìn)行etl程序的開發(fā);包括實(shí)時(shí)數(shù)據(jù)加工,計(jì)算,etl,管理, 監(jiān)控等;
3、 負(fù)責(zé)針對(duì)源系統(tǒng)進(jìn)行數(shù)據(jù)抽取、處理、分析等相關(guān)工作,及項(xiàng)目中涉及到的數(shù)據(jù)庫創(chuàng)建、維護(hù)及提供數(shù)據(jù)接口工作;
4、 負(fù)責(zé)設(shè)計(jì)并優(yōu)化基于hive 的數(shù)據(jù)倉庫的建設(shè);
5、 制定數(shù)據(jù)庫備份和恢復(fù)策略及工作流程與規(guī)范。
6、能出具消費(fèi)品品牌制造行業(yè)應(yīng)用的數(shù)據(jù)分析技術(shù)解決方案,并落地。
任職資格:
1.從事數(shù)據(jù)倉庫領(lǐng)域至少2年以上,熟悉數(shù)據(jù)倉庫模型設(shè)計(jì)與etl開發(fā)經(jīng)驗(yàn) ,具備海量數(shù)據(jù)加工處理相關(guān)經(jīng)驗(yàn);
2. 熟悉數(shù)據(jù)倉庫領(lǐng)域知識(shí)和技能者優(yōu)先,包括但不局限于:元數(shù)據(jù)管理、數(shù)據(jù)開發(fā)測(cè)試工具與方法、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理;
3.有從事分布式數(shù)據(jù)存儲(chǔ)與計(jì)算平臺(tái)應(yīng)用開發(fā)經(jīng)驗(yàn),熟悉hadoop生態(tài)相關(guān)技術(shù)并有相關(guān)實(shí)踐經(jīng)驗(yàn)著優(yōu)先,重點(diǎn)考察hive、hdfs、hbase;
4. 熟練掌握kettlesqoop、data_、airflow等;
5. 有消費(fèi)品品牌制造、零售行業(yè)經(jīng)驗(yàn),尤其快消品行業(yè)和財(cái)務(wù)領(lǐng)域數(shù)據(jù)項(xiàng)目經(jīng)驗(yàn)者優(yōu)先;
6. 熟悉分布式計(jì)算presto/imapa優(yōu)先;
7.有實(shí)時(shí)計(jì)算方面的經(jīng)驗(yàn)的優(yōu)先。
第8篇 大數(shù)據(jù)應(yīng)用分析崗位職責(zé)大數(shù)據(jù)應(yīng)用分析職責(zé)任職要求
大數(shù)據(jù)應(yīng)用分析崗位職責(zé)
職責(zé)描述:
1、基于行業(yè)電商大數(shù)據(jù),撰寫專業(yè)分析報(bào)告,對(duì)行業(yè)市場(chǎng)產(chǎn)品和用戶評(píng)論進(jìn)行深度分析和探索,為行業(yè)研判、品類拓展等提供策略支持。
2、研究企業(yè)在互聯(lián)網(wǎng)上的售銷、用戶評(píng)論、輿情、行業(yè)咨詢等等互聯(lián)網(wǎng)大數(shù)據(jù),在產(chǎn)品企劃、研發(fā)、品質(zhì)、營(yíng)銷、售后、市場(chǎng)研究等領(lǐng)域提供數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)運(yùn)營(yíng)能力。
3、推動(dòng)公司大數(shù)據(jù)產(chǎn)品的持續(xù)運(yùn)營(yíng),包括但不限于:數(shù)據(jù)稽核、功能拓展、數(shù)據(jù)小品、業(yè)務(wù)培訓(xùn)等工作。
4、梳理數(shù)據(jù)分析方法與流程,沉淀知識(shí)積累。
任職要求:
1、全日制本科或以上學(xué)歷,數(shù)學(xué)、統(tǒng)計(jì)、市場(chǎng)營(yíng)銷等相關(guān)專業(yè)優(yōu)先考慮。3年以上數(shù)據(jù)統(tǒng)計(jì)、分析和挖掘相關(guān)工作經(jīng)驗(yàn),有電商分析經(jīng)驗(yàn)優(yōu)先考慮。
2、熟練使用python,sql,e_cel者優(yōu)先。
3、對(duì)數(shù)據(jù)敏感,有業(yè)務(wù)意識(shí),具備良好的邏輯分析能力和系統(tǒng)性思維能力。
4、思維敏捷,有耐心、有責(zé)任感,工作積極主動(dòng),具備學(xué)習(xí)與創(chuàng)新意識(shí),良好的溝通能力及團(tuán)隊(duì)協(xié)作意識(shí)。有洞察力和創(chuàng)新意識(shí),快速學(xué)習(xí)能力強(qiáng),適應(yīng)高強(qiáng)度挑戰(zhàn);
5、理解互聯(lián)網(wǎng)數(shù)據(jù)產(chǎn)品的商業(yè)模式和產(chǎn)業(yè)生態(tài),全面考慮產(chǎn)品形態(tài)和推進(jìn)方式;
第9篇 大數(shù)據(jù)工程師職位描述與崗位職責(zé)任職要求
職位描述:
這是一個(gè)為商業(yè)人工智能領(lǐng)域構(gòu)建實(shí)時(shí)大數(shù)據(jù)分析平臺(tái)的工作機(jī)會(huì)。我們希望您具備計(jì)算機(jī)科學(xué)或者相關(guān)專業(yè)領(lǐng)域的專業(yè)背景,并擁有構(gòu)建分布式可擴(kuò)展數(shù)據(jù)處理及大數(shù)據(jù)存儲(chǔ)方面的豐富經(jīng)驗(yàn)。您將擔(dān)任跨職能的團(tuán)隊(duì)中的重要角色。我們希望您斗志昂揚(yáng),注重結(jié)果,積極主動(dòng),具備推動(dòng)產(chǎn)品的增長(zhǎng)和成功的成功經(jīng)驗(yàn)。
工作職責(zé)
?在云端或者本地集群上構(gòu)建可擴(kuò)展的實(shí)時(shí)數(shù)據(jù)處理流水線,收集、轉(zhuǎn)換、加載并管理各類數(shù)據(jù)源
?構(gòu)建可擴(kuò)展的分布式數(shù)據(jù)存儲(chǔ)
?確保所構(gòu)建的數(shù)據(jù)處理管道具有高質(zhì)量并可審計(jì)
?開發(fā)相關(guān)工具以優(yōu)化數(shù)據(jù)的提取、分析及可視化效率
?評(píng)估數(shù)據(jù)工程領(lǐng)域的新技術(shù),并開發(fā)原型,以持續(xù)改善工作
?與框架和其他團(tuán)隊(duì)合作,確保系統(tǒng)運(yùn)行符合設(shè)計(jì)預(yù)期
工作要求
?全日制碩士以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè),cet6
?具備大數(shù)據(jù)相關(guān)技術(shù)例如spark, kafka, hadoop, hbase, hive等的豐富經(jīng)驗(yàn)
?具備五年以上java、scala、python相關(guān)工作經(jīng)驗(yàn),mysql, redshift等sql相關(guān)經(jīng)驗(yàn)
?具備三年以上可擴(kuò)展實(shí)時(shí)etl開發(fā)經(jīng)驗(yàn)
?熟悉azure/aws/gcp相關(guān)工具與知識(shí)
?良好的書面/口頭溝通技巧
?具備機(jī)器學(xué)習(xí)算法方面工作經(jīng)驗(yàn)者優(yōu)先
第10篇 大數(shù)據(jù)挖掘崗位職責(zé)任職要求
大數(shù)據(jù)挖掘崗位職責(zé)
大數(shù)據(jù)挖掘應(yīng)用設(shè)計(jì)崗位要求:
1.大數(shù)據(jù)專業(yè),具有豐富的數(shù)據(jù)倉庫開發(fā)經(jīng)驗(yàn),有2年及以上基于hadoop/storm/hive/hbase等應(yīng)用開發(fā)經(jīng)驗(yàn),對(duì)分布式計(jì)算理論有深刻理解;
2. 熟練掌握大數(shù)據(jù)/機(jī)器學(xué)習(xí)方法及相關(guān)算法,對(duì)數(shù)據(jù)結(jié)構(gòu)、算法有深刻理解;
3.精通java、熟練掌握mapreduce原理及數(shù)據(jù)分析相關(guān)的二次開發(fā);
4.熟悉 linu_/uni_ shell 、熟悉(perl/python/shell)任意一種腳本語言;
5.熟悉高并發(fā)分布式計(jì)算系統(tǒng)的設(shè)計(jì),精通map reduce編程框架,熟悉常用的nosql和內(nèi)存數(shù)據(jù)庫技術(shù),如hadoop,hdfs,hbase,mongodb等分布式數(shù)據(jù)體系,熟悉storm / spark stream等相關(guān)的流式計(jì)算系統(tǒng);
6.良好的系統(tǒng)分析、架構(gòu)設(shè)計(jì)能力。
崗位職責(zé):
1. 參與設(shè)計(jì)客戶要求的數(shù)據(jù)挖掘應(yīng)用,參與撰寫相關(guān)文檔;
2. 相關(guān)系統(tǒng)的編程、部署、實(shí)施工作;
3. 根據(jù)業(yè)務(wù)需要,跟蹤大數(shù)據(jù)技術(shù)領(lǐng)域趨勢(shì)并能結(jié)合實(shí)際業(yè)務(wù)應(yīng)用。崗位要求:
1.大數(shù)據(jù)專業(yè),具有豐富的數(shù)據(jù)倉庫開發(fā)經(jīng)驗(yàn),有2年及以上基于hadoop/storm/hive/hbase等應(yīng)用開發(fā)經(jīng)驗(yàn),對(duì)分布式計(jì)算理論有深刻理解;
2. 熟練掌握大數(shù)據(jù)/機(jī)器學(xué)習(xí)方法及相關(guān)算法,對(duì)數(shù)據(jù)結(jié)構(gòu)、算法有深刻理解;
3.精通java、熟練掌握mapreduce原理及數(shù)據(jù)分析相關(guān)的二次開發(fā);
4.熟悉 linu_/uni_ shell 、熟悉(perl/python/shell)任意一種腳本語言;
5.熟悉高并發(fā)分布式計(jì)算系統(tǒng)的設(shè)計(jì),精通map reduce編程框架,熟悉常用的nosql和內(nèi)存數(shù)據(jù)庫技術(shù),如hadoop,hdfs,hbase,mongodb等分布式數(shù)據(jù)體系,熟悉storm / spark stream等相關(guān)的流式計(jì)算系統(tǒng);
6.良好的系統(tǒng)分析、架構(gòu)設(shè)計(jì)能力。
崗位職責(zé):
1. 參與設(shè)計(jì)客戶要求的數(shù)據(jù)挖掘應(yīng)用,參與撰寫相關(guān)文檔;
2. 相關(guān)系統(tǒng)的編程、部署、實(shí)施工作;
3. 根據(jù)業(yè)務(wù)需要,跟蹤大數(shù)據(jù)技術(shù)領(lǐng)域趨勢(shì)并能結(jié)合實(shí)際業(yè)務(wù)應(yīng)用。
大數(shù)據(jù)挖掘崗位
第11篇 大數(shù)據(jù)平臺(tái)架構(gòu)師崗位職責(zé)大數(shù)據(jù)平臺(tái)架構(gòu)師職責(zé)任職要求
大數(shù)據(jù)平臺(tái)架構(gòu)師崗位職責(zé)
工作職責(zé):
負(fù)責(zé)大數(shù)據(jù)開發(fā)、數(shù)據(jù)挖掘、算法平臺(tái)的技術(shù)架構(gòu)及建設(shè);
負(fù)責(zé)大數(shù)據(jù)實(shí)時(shí)檢索分析平臺(tái)的架構(gòu)和建設(shè);
負(fù)責(zé)pcg業(yè)務(wù)算法推薦,實(shí)時(shí)流計(jì)算框架的研發(fā)優(yōu)化;
跟蹤移動(dòng)互聯(lián)網(wǎng)開源大數(shù)據(jù)框架、新算法框架的技術(shù)選型及平臺(tái)化預(yù)研及架構(gòu);
負(fù)責(zé)業(yè)務(wù)挖掘、算法應(yīng)用的平臺(tái)支持;
負(fù)責(zé)>;5人的技術(shù)或ft團(tuán)隊(duì)管理。
任職要求:
5年以上系統(tǒng)建設(shè),設(shè)計(jì),架構(gòu)經(jīng)驗(yàn);4年以上大數(shù)據(jù)系統(tǒng)開發(fā),設(shè)計(jì),架構(gòu)經(jīng)驗(yàn);3年以上軟件工程管理經(jīng)驗(yàn);
熟悉商業(yè)智能系統(tǒng),熟悉數(shù)據(jù)倉庫,熟悉數(shù)據(jù)集市;
熟悉大數(shù)據(jù)相關(guān)技術(shù):hadoop, hive, hbase, zookeeper, spark, cassandra, mapreduce;并閱讀過相關(guān)源碼;
管理過數(shù)據(jù)量上t級(jí)別,節(jié)點(diǎn)數(shù)300以上的大數(shù)據(jù)集群,開發(fā),優(yōu)化并管理過上t級(jí)別的大數(shù)據(jù)作業(yè);
熟悉常用機(jī)器學(xué)習(xí)算法,了解深度學(xué)習(xí),強(qiáng)化學(xué)習(xí),遷移學(xué)習(xí)算法,了解相關(guān)原理(ff, bf, sgd等);
熟悉各種抽樣方法(分層,過抽樣等),特征處理方法(缺失值處理,離散化等);
熟悉機(jī)器學(xué)習(xí)框架或工具(spark mllib,tensorflow, caffe等),了解源碼并能應(yīng)用項(xiàng)目;
具備大數(shù)據(jù)云平臺(tái)、計(jì)算存儲(chǔ)平臺(tái)、可視化開發(fā)平臺(tái)經(jīng)驗(yàn),具備中大型成功項(xiàng)目經(jīng)驗(yàn)優(yōu)先;具備大規(guī)模分布式計(jì)算平臺(tái)的使用和并行算法的開發(fā)經(jīng)驗(yàn),對(duì)大數(shù)據(jù)處理及應(yīng)用有濃厚興趣;
具備較強(qiáng)的團(tuán)隊(duì)管理能力和溝通能力,思維活躍,前瞻學(xué)習(xí)能力強(qiáng);
了解軟件項(xiàng)目管理、敏捷管理方法論,在中大型項(xiàng)目中有所實(shí)踐。
第12篇 流媒體大數(shù)據(jù)工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、負(fù)責(zé)直播端及服務(wù)端海量用戶行為數(shù)據(jù)的加工處理,數(shù)據(jù)洞察驅(qū)動(dòng)業(yè)務(wù)優(yōu)化;
2、打造業(yè)界領(lǐng)先的大數(shù)據(jù)平臺(tái),支撐數(shù)據(jù)采集,加工,建模,分析,實(shí)驗(yàn),可視化的全流程;
3、打造業(yè)界領(lǐng)先的分布式計(jì)算,存儲(chǔ)系統(tǒng),解決大規(guī)模生產(chǎn)環(huán)境集群可用性和性能優(yōu)化問題。
任職要求:
1、熱愛計(jì)算機(jī)科學(xué)和互聯(lián)網(wǎng)技術(shù),優(yōu)秀的編碼能力,樂于快速學(xué)習(xí)和嘗試新技術(shù)、新工具;
2、對(duì)開源大數(shù)據(jù)系統(tǒng)有相關(guān)經(jīng)驗(yàn)者優(yōu)先,包括但不限于hadoop/spark/hive/flink/kafka/druid 等;
3、對(duì)數(shù)據(jù)敏感,掌握量化分析方法,善于從數(shù)據(jù)中發(fā)現(xiàn)問題者優(yōu)先。
第13篇 大數(shù)據(jù)咨詢經(jīng)理崗位職責(zé)描述崗位要求
職位描述:
崗位職責(zé):
1、根據(jù)公司產(chǎn)品定位,開拓大數(shù)據(jù)商業(yè)化的合作業(yè)務(wù),與客戶建立良好的人際關(guān)系,并及時(shí)配合產(chǎn)品、銷售部進(jìn)行數(shù)據(jù)源挖掘;
2、深入了解公司業(yè)務(wù)模型與技術(shù)算法邏輯,針對(duì)客戶定制化的數(shù)據(jù)合作需求,提供最優(yōu)解決方案,并協(xié)調(diào)內(nèi)部資源推動(dòng)結(jié)果落地;
3、完成公司現(xiàn)有客戶資源的持續(xù)性合作以及銷售線索的跟進(jìn),向客戶準(zhǔn)確傳達(dá)公司服務(wù)信息、企業(yè)優(yōu)勢(shì)及核心競(jìng)爭(zhēng)力,為公司樹立良好的市場(chǎng)口碑;
4、參與數(shù)據(jù)產(chǎn)品的市場(chǎng)定位、運(yùn)營(yíng)模式設(shè)置、用戶畫像定位等綜合產(chǎn)品打磨工作。
崗位要求:
1、統(tǒng)招本科及以上學(xué)歷,數(shù)據(jù)變現(xiàn)、數(shù)據(jù)咨詢、運(yùn)營(yíng)商合作等相關(guān)行業(yè)經(jīng)驗(yàn)5年以上;
2、良好的客戶形象和公關(guān)能力,具備大數(shù)據(jù)交易行業(yè)的資深經(jīng)驗(yàn)和客戶關(guān)系;
3、對(duì)市場(chǎng)機(jī)會(huì)有敏銳的嗅覺,能夠發(fā)現(xiàn)潛在商機(jī);
4、具備一定的大數(shù)據(jù)專業(yè)基礎(chǔ)和自學(xué)能力工作熱情,積極主動(dòng),有一定的數(shù)據(jù)技術(shù)背景更佳;
5、人品端正,具有獨(dú)立開展工作及團(tuán)隊(duì)合作精神。
第14篇 大數(shù)據(jù)查詢引擎高級(jí)工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、研發(fā)業(yè)界領(lǐng)先的交互式數(shù)據(jù)分析系統(tǒng),服務(wù)于今日頭條全公司的數(shù)十個(gè)用戶產(chǎn)品線;
2、面向超大規(guī)模數(shù)據(jù)問題,每天千億增量的用戶行為數(shù)據(jù),秒級(jí)處理pb級(jí)別的數(shù)據(jù)計(jì)算;
3、善于理解和抽象業(yè)務(wù)問題,支撐多樣的海量數(shù)據(jù)分析場(chǎng)景。
任職要求:
1、理解分布式系統(tǒng),思路清晰,具備生產(chǎn)系統(tǒng)快速 trouble-shooting 的經(jīng)驗(yàn)和能力,擅長(zhǎng)分析深層次的原因;
2、對(duì)市面上常見的 olap 系統(tǒng)設(shè)計(jì)與源碼有深入研究,給 hive/kylin/presto/spark/tez 等項(xiàng)目提交過 patch者優(yōu)先。
第15篇 大數(shù)據(jù)研發(fā)專家職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1、負(fù)責(zé)全域數(shù)據(jù)和應(yīng)用產(chǎn)品的數(shù)據(jù)體系的建設(shè),通過數(shù)據(jù)+算法+工程化能力,處理和萃取數(shù)據(jù),讓其成為應(yīng)用和產(chǎn)品的能源;
2、參與大數(shù)據(jù)基礎(chǔ)架構(gòu)和技術(shù)體系的規(guī)劃建設(shè),包括數(shù)據(jù)采集平臺(tái)、數(shù)據(jù)資產(chǎn)管理與治理平臺(tái)、數(shù)據(jù)質(zhì)量及穩(wěn)定性保障體系、數(shù)據(jù)處理智能化和自動(dòng)化體系的建設(shè)。
3、 以上工作職責(zé)有具體的細(xì)分,你可以基于你的興趣和愛好選擇不同的方向發(fā)展;
任職要求:
以下能力項(xiàng)不是全部要求,我們有多個(gè)細(xì)分崗位供您選擇
1、有從事分布式數(shù)據(jù)存儲(chǔ)與計(jì)算平臺(tái)應(yīng)用開發(fā)經(jīng)驗(yàn),熟悉hadoop生態(tài)相關(guān)技術(shù)并有相關(guān)開發(fā)經(jīng)驗(yàn),有spark/flink的開發(fā)經(jīng)驗(yàn)尤佳;
2、較為豐富的數(shù)據(jù)倉庫及數(shù)據(jù)平臺(tái)的架構(gòu)經(jīng)驗(yàn),精通數(shù)據(jù)倉庫建模及etl設(shè)計(jì)開發(fā);有較為系統(tǒng)的海量數(shù)據(jù)性能處理經(jīng)驗(yàn);在大數(shù)據(jù)資產(chǎn)管理與治理有一定成功產(chǎn)品化經(jīng)驗(yàn);
3、具備豐富的大型互聯(lián)網(wǎng)日志采集系統(tǒng)設(shè)計(jì)或架構(gòu)經(jīng)驗(yàn),具備較扎實(shí)的理論基礎(chǔ)和工程能力,熟悉http、http等協(xié)議,有ngin_、apache等web服務(wù)器上的模塊開發(fā)或子系統(tǒng)的架構(gòu)設(shè)計(jì)能力,有ios或android客戶端sdk及服務(wù)端架構(gòu)設(shè)計(jì)經(jīng)驗(yàn);
4、具備一定的java、python語言的開發(fā)能力,具備機(jī)器學(xué)習(xí)算法能力尤佳;
5、 良好的思維邏輯性、語言表達(dá)能力;有較好英語口語能力,將安排海外崗位;