職責(zé)描述：
1、負(fù)責(zé)SPARK數(shù)據(jù)分析模塊與其它系統(tǒng)/模塊之間的銜接，提供基礎(chǔ)數(shù)據(jù)分析能力；
2、運(yùn)用數(shù)據(jù)挖掘算法，解決海量數(shù)據(jù)分析、挖掘方面的業(yè)務(wù)需求，負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)，開(kāi)發(fā)，維護(hù)；
3、支撐產(chǎn)品和運(yùn)營(yíng)各種業(yè)務(wù)數(shù)據(jù)分析需求；
4、負(fù)責(zé)數(shù)據(jù)平臺(tái)的開(kāi)發(fā)和優(yōu)化，基于大數(shù)據(jù)平臺(tái)完成各類(lèi)統(tǒng)計(jì)和開(kāi)發(fā)任務(wù)；
5、負(fù)責(zé)數(shù)據(jù)庫(kù)監(jiān)控、優(yōu)化大數(shù)據(jù)計(jì)算性能；


任職要求：1、3年以上代碼開(kāi)發(fā)及2年以上大數(shù)據(jù)項(xiàng)目管理經(jīng)驗(yàn)；
2、熟悉Python/Shell/Perl等一種或幾種腳本語(yǔ)言；
3、精通Hadoop、Spark集群搭建、配置、優(yōu)化以及維護(hù)和管理；
4、能夠基于Hadoop生態(tài)的大數(shù)據(jù)存儲(chǔ)平臺(tái)進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)的搭建和部署工作，熟練掌握Hive，熟悉HBase或其它任意一種非關(guān)系型數(shù)據(jù)庫(kù)；
5、熟練掌握大數(shù)據(jù)相關(guān)管理工具、技術(shù)，如Sqoop、Hue、Oozie等；
6、熟練掌握Kafka、Flume 進(jìn)行消息數(shù)據(jù)的收發(fā)、優(yōu)化工作，具有豐富的MapReduce調(diào)優(yōu)經(jīng)驗(yàn)者優(yōu)先；
7、熟悉OpenStack，Docker等云計(jì)算平臺(tái)或容器平臺(tái)構(gòu)建和維護(hù)經(jīng)驗(yàn)者優(yōu)先；
8、有數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)的經(jīng)驗(yàn)；
9、有網(wǎng)絡(luò)安全從業(yè)背景者優(yōu)先；

光通公司于2014年4月成立，兩年來(lái)，公司業(yè)務(wù)以600%的增長(zhǎng)率發(fā)展，成為行業(yè)發(fā)展的奇跡。
主營(yíng)業(yè)務(wù)為網(wǎng)絡(luò)安全服務(wù)、云計(jì)算、數(shù)據(jù)中心業(yè)務(wù)及互聯(lián)網(wǎng)大數(shù)據(jù)行業(yè)解決方案的互聯(lián)網(wǎng)科技企業(yè)。公司已在北京、上海、深圳開(kāi)設(shè)分公司，業(yè)務(wù)遍布國(guó)內(nèi)33個(gè)大中城市。創(chuàng)立伊始，公司即專(zhuān)注于網(wǎng)絡(luò)安全服務(wù)市場(chǎng)，是國(guó)內(nèi)首批進(jìn)入互聯(lián)網(wǎng)抗DDos攻擊領(lǐng)域的企業(yè)，成立三年以來(lái)，已具備豐富的網(wǎng)絡(luò)攻防、DDos攻擊防范經(jīng)驗(yàn)，研發(fā)搭建了T級(jí)防御能力的超高安全防護(hù)架構(gòu)及系統(tǒng)，是國(guó)內(nèi)目前最專(zhuān)業(yè)的DDos網(wǎng)絡(luò)高防產(chǎn)品。