職位描述
該職位還未進行加V認證,請仔細了解后再進行投遞!
崗位職責:
1、負責公司Hadoop集群資源管理調度器優化,包括但不限于集群規模、調度吞吐能力、資源利用率等多個方向。
2、負責大數據底層技術組件社區跟進、關鍵問題攻關,解決平臺應用開發、數據開發、運維等用戶反饋的平臺技術難題。
3、根據公司業務場景需求,對現有底層技術組件進行穩定性健康運行保障、性能優化、二次開發、版本升級。
4、根據公司項目和業務發展特點,研究大數據相關前沿技術。
任職要求:
1、基本要求:本科及以上學歷,計算機、數學等相關專業。
2、工作經驗:5年以上工作經驗,有開源社區主流項目的COMMITER和PMC經驗者優先。
3、知識技能:
1)熟練使用Hadoop、Spark、Flink等大數據技術,熟悉SQL、Java、Scala、Python等編程語言;
2)熟悉Spark、Presto/Trino、Flink、Hive、Impala等主流大數據系統原理及源碼,可以對底層組件進行源碼二次開發;
3)有超PB級別大數據處理實戰經驗,熟悉整個大數據的完整處理流程,優秀的問題解決能力;
4)熟悉主流的OLAP引擎的優化原理,向量化執行、Filter下推、物化視圖、列式存儲等;
5)熟悉HUDI、Iceberg或者DeltaLake 為代表的數據湖技術。
4、素質要求:積極主動,責任心強,執行高效,良好的溝通和團隊協作能力,善于解決和分析問題。
工作地點
地址:鄭州管城回族區鄭州萬眾大廈20-22F


職位發布者
HR
河南中原消費金融股份有限公司

-
基金·證券·期貨·投資
-
200-499人
-
公司性質未知
-
管城回族區康寧街99號萬眾大廈22層