公司名称

诺优信息技术(上海)有限公司

项目名称

大数据

需求描述

岗位职责：

1. 负责项目实施过程中的数据源分析，并能够独立完成ETL过程。

2. 参与数据平台架构的设计及开发 。

3. 参与数据平台ETL流程优化及解决ETL相关技术问题。

4. 对分析需求的支持。

5.上级安排的其他临时性工作

任职要求：

1、 有一定的编程基础，熟悉java和Python者优先

2、 海量数据的ETL开发，抽取成各种数据需求；

3、 熟悉hadoop生态圈，如hbase，hive,spark,flume,storm,kafka等有实际的工作经验

4、 熟练掌握SQL语法及熟练使用MYSQL、Oracle、SQLServer等一种关系型数据库，以及NoSQL（hive、Redis）等非关系数据库,能编写复杂业务逻辑的SQL脚本.此为必备项

5、 熟悉Linux或Unix操作系统，掌握常用命令，此为必备项

5、 有1到2年基于hive的实际sql脚本开发经验，以及sql语句优化调优等，逻辑能力强.此为必备项

6、 有airflow、Kettle等ETL工具使用经验尤佳

7、积极主动、学习能力强、沟通能力强、肯吃苦耐劳，能配合工作分配和加班