公司名称

亚信科技（中国）有限公司

项目名称

大数据开发项目

需求描述

岗位职责：

1、负责大数据基础平台的规划，根据业务需求、数据量等情况设计基础数据平台的组件选型，主机、网络、存储等设备规划

2、制定大数据的技术解决方案及规划，理解业务需求，推进大数据的应用。

任职要求;

1、本科及以上学历，计算机相关专业，具有5年以上工作经验、3年以上大数据研发经验

2、具备Hadoop、HBase、Spark、Kafka、Zeppelin、Kerberos等中一个或多个相关平台维护、优化经验或技能。

3、熟悉Linux(redhat/centos)软硬件环境、系统管理和优化，熟练部署、优化各种常用服务。熟练使用Linux 命令和常用的ssh、ftp、git、maven等开发工具；

4、熟悉Hadoop大数据生态圈，包括但不限于CDH/HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spark/Flume/Impala/Hue/Sqoop/Elasticsearch/kibana/MySQL/Oracle等；

5、熟悉Hadoop各组件的原理和实现，有实际部署维护、管理( 包括元数据管理)及优化经验。并拥有持续调优能力，运维管理过大规模数据平台；

6、熟悉掌握常用的安全协议和组件服务，对hadoop各组件的权限、安全、kerberos进行配置管理。熟悉SSL、ACL、kerberos等在大数据环境场景的使用；

7、熟悉常用运维监控工具（nagios/ganglia/zabbix/grafan/openfalcon等）和相关插件的开发。比如邮件、短信、微信报警插件等；

8、熟悉常用nginx／haproxy/varnish/netscaler等代理工具的使用和优化；

9、具备良好的服务意识，善于主动思考，自我驱动力强。有良好的沟通、协调能力，富有团队精神，有较强的文档编写能力；