1、負(fù)責(zé)Hadoop集群的安裝、配置、維護(hù)與性能優(yōu)化,保障系統(tǒng)高可用性與穩(wěn)定性。
2、基于HDFS、Spark、Hive、HBase、Kafka、Flink等組件開展數(shù)據(jù)采集、清洗、存儲、分析及挖掘工作。
3、參與企業(yè)級數(shù)據(jù)倉庫建設(shè)與ETL開發(fā),支持報表生成與業(yè)務(wù)指標(biāo)分析。
4、開展Yarn調(diào)度優(yōu)化、HDFS存儲治理、HiveSpark作業(yè)調(diào)優(yōu)(如小文件、數(shù)據(jù)傾斜等)。
5、編寫技術(shù)文檔(操作手冊、故障指南等),配合團(tuán)隊完成數(shù)據(jù)治理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量監(jiān)控體系建設(shè)。
1、熟悉Hadoop生態(tài)核心組件(HDFS、YARN、MapReduce、Hive、HBase、Spark、Flink、Kafka、ZooKeeper、Sqoop、Flume等)。
2、熟練掌握J(rèn)avaPythonShell至少一門語言,具備Linux系統(tǒng)操作與腳本開發(fā)能力。
3、熟悉MySQL等關(guān)系型數(shù)據(jù)庫及SQL開發(fā)與性能優(yōu)化;了解數(shù)據(jù)倉庫建模理論與數(shù)據(jù)治理方法。
4、具備2年以上大數(shù)據(jù)平臺開發(fā)、運維或交付經(jīng)驗;有CDHCDPTDH華為MRS等平臺經(jīng)驗者優(yōu)先。
5、責(zé)任心強(qiáng),邏輯清晰,具備良好的溝通協(xié)作能力與問題解決能力。
在求職過程中如果遇到扣押證件、收取押金、提供擔(dān)保、強(qiáng)迫入股集資、解凍資金、詐騙傳銷、求職歧視、黑中介、人身攻擊、惡意騷擾、惡意營銷、虛假宣傳或其他違法違規(guī)行為。請及時保留證據(jù),立即向平臺舉報投訴,必要時可以報警、起訴,維護(hù)自己的合法權(quán)益。
