公司名称

中科软(天津)信息技术有限公司

项目名称

Spark

需求描述

技能要求：

Hbase

Spark

Java

数据清洗

SQL

Python

【关于工作】

1、通过spark sql进行数据的清洗工作；

2、熟练使用hivesql；

4、按照开发规范编写源代码和单元测试代码，进行代码重构和审查，解决技术难点；

5、负责产品系统的持续跟进和优化；

【关于自身】

1、精通Java、scala、python其中至少一门语言，2年以上同岗位经验；

2、精通Spark、Hbase、Spark SQL，hive、hdfs、yarn开发，有丰富的系统设计、调优经验；

3、有CDH/HDP集群搭建，运维经验；

4、熟悉shell脚本，可以根据复杂业务编写shell脚本；

5、有较强的学习能力和执行力，能独立完成复杂技术任务；

6、正直、阳光、善于沟通，对海量数据分析业务充满热情，敢于迎接挑战。

【加分项】

1、有数据仓库架构经验；

3、有客户沟通、处理经验。