公司名称

玳数科技

项目名称

开发

需求描述

岗位描述：

spark开发工程师：

1. 参与袋鼠云-数栈平台-离线计算 相关产品设计和优化；

2. 优化离线spark 相关任务的资源自动调整和参数优化；

3. 从事产品和前瞻技术的研究和开发。

任职资格:

1. 精通Java，熟练使用多线程编程技术，了解Scala语言，能使用Scala编写一般Spark程序；

2. 基本功扎实，对编写程序代码很考究，有良好编码风格，有实际参与编码或主导研发的系统或项目；

3. 熟悉Hadoop/Spark/HBase/Hive/Flink/Kafka等大数据开源技术框架中至少2种，读过相应开源项目源码更佳；

4. 熟悉spark CBO 等优化器的优先；

5. 良好团合作意识，能独立分析数据需求，并转化成系统模块或接口，能独立进行代码实现。