公司名称

纵腾网络

项目名称

需求描述

主要职责

1、负责大数据平台的数据开发工作，包括数据中台组件选型及搭建、数据架构开发；

2、负责离线/实时的数据存储和加工处理，保证数据质量，负责数据监体系的建立和维护；

3、负责海量数据的清洗、处理和挖掘工作，支持数据分析师和算法工程师的数据需求；

4、研究前沿技术，解决实际场景中的业务问题，优化离线/实时大数据计算任务的性能。

任职资格

1、计算机或相关专业本科及以上学历，5年以上大数据开发经验；

2、熟练掌握scala/Java语言，python编程，扎实的数据结构和算法功底子；

3、熟练掌握基于CDH的hadoop、hive、spark等大数据组件部署与优化；有Hadoop、Hive、Spark、presto、impala优化及性能调优工作经验优先；

4、熟练使用kafka、SparkStreaming、Flink等流处理技术;

5、有SQL调优功底；

6、熟练使用ETL工具如datax、Kettle、Ogg等进行数据清洗、转换、整合；

7、熟悉实时数仓数据处理架构,具有丰富的数据加工处理经验，对数据处理、数据清洗，数据建模、数据分析等有深刻认识和实战经验；;

8、有合作意识，强烈的责任心，对工作有激情，良好的沟通能力；清晰的逻辑分析和表达能力，热爱技术，乐于分享，对行业和技术的发展有自己的见解；

9、加分项：了解Apachehudi等数据湖组件。