公司名称

北京卡洛其咨询有限公司

项目名称

大数据

需求描述

技能要求:

大数据，Hadoop，Kafka、Storm、Canal、Elasticsearch

工作内容不是做繁琐重复的体力劳动，而是在创新全新的在线实时数据处理技术，当前全世界只有阿里做到了，我们本次的目标就是挑战阿里技术，是在为技术创新做最有意义的事情。

岗位职责

1、负责大数据基础架构平台的设计、技术选型，主导对应的建设实施、保证集群高效稳定运行；

2、主导数据应用相关的数据存储、查询引擎、实时计算、元数据管理等方面的架构设计；

3、核心部分代码编写、指导和培训工程师、不断进行系统优化；

4、跨团队/部门协作、系统分析并解决各类大数据平台相关的运行或数据问题；

岗位要求

1、统招本科以上学历，计算机等相关相近专业，6年以上工作经验，4年以上大数据开发经验；

2、熟悉Storm、Spark、Flink、Flume、Kafka、Hbase、Elasticsearch等组件的原理，有良好的系统性能优化及故障排除能力；

3、对HDFS、Yarn的原理有深入了解，掌握系统优化、资源分配与权限控制，经历过完整的设计、开发、运营周期；

4、熟悉数据仓库生命周期及各类建模理论，有实际互联网数据仓库项目建设经验

5、熟悉大数据基础架构平台的监控、资源管理、数据流管理