公司名称

谷东科技有限公司

项目名称

大数据

需求描述

技能要求：

人脸识别

Hadoop

数据采集

数据抓取

数据挖掘

职位描述：

1、基于可变的客户需求进行实时评估，并能提供切实可行的技术路线或解决方案。

2、负责数据仓库建模、ETL流程的优化及技术问题解决。

3、负责解决方案的核心架构设计、技术细节澄清与关键技术攻关。

4、负责配合产品经理完成大数据管理相关数据资产、数据质量、数据链路等工具需求分析与产品设计。

职位要求：

1、数学、计算机相关专业本科以上学历。

2、至少熟练运用Java、Scala语言中的1种。

3、具有2年以上Hadoop平台搭建实施及运维经验。

4、熟悉Hadoop生态圈并有相关实践经验，包括HDFS、MapReduce、Hive、Hbase、Spark、Kafka、Flume、Zookeeper等，具备海量数据加工处理(ETL)相关经验者优先。

5、熟悉Oracle、Mysql、NoSQL等主流数据库的设计与开发。

6、至少熟悉Sqoop、Datax、Kettle等常用ETL工具中的一种。

7、熟练掌握Linux常规命令与工具，熟悉系统搭建及配置，Python，Shell，至少1种脚本语言熟练。

8、逻辑思维清晰，有较好的学习能力和沟通交流能力。