公司名称

深圳市网新新思软件有限公司

项目名称

数据库

需求描述

岗位职责：

要求熟悉 ：hive，ETL ··

工作经验 :3年以上（包含3年）·

熟练使用 ： MapReduce、Spark提供的API编程，具备海量数据加工处理（ETL）相关经验；

要求熟悉 ：Hadoop生态环境，对Hadoop、Spark、Storm、HBase、等至少一个项目有着深入了解，

熟悉Shell命令，进行简单的Shell编程；熟悉Linux文本处理命令，VI、AWK、Sed等命令

熟练使用Hadoop或其他分布式平台的一种，能使用java，Python或其他语言编写MapReduce进行大数据处理优先

1.熟悉主流的机器（统计）学习，数据挖掘基本算法和数学模型；2.熟悉大数据的完整处理流程，对大数据基础架构和平台有深刻理解；3.有数据仓库、统计挖掘或报表开发经验；4.熟悉hadoop、spark、hive、hbase、pig、sqoop等相关工具的使用；5.有金融行业数据挖掘经验者优先考虑；6.良好的沟通能力和团队协作精神