公司名称

北京金惠新悦科技有限公司

项目名称

Python

需求描述

技能要求：

爬虫

岗位职责

1. 分布式网页抓取平台的研发、完善和运维，每天支持数千万级的网页采集、清洗；

2. 产品后端 API 的开发，实现高性能、高可用及可扩展的后端代码；

3. 线上分布式环境的自动化运维、监控、性能调优，参与爬虫系统的架构设计与开发；

4. 负责爬虫系统日常运维管理、服务监控、故障处理、集群性能和资源利用率优化；

5. 负责爬虫系统的快速部署、数据备份、数据迁移等工作，保证爬虫系统根据需求继续宁容量调整。

职位要求

1. 本科及以上学历，计算机等相关专业， 2年以上爬虫系统开发、运维相关工作经验，有电信运营商项目、工作背景优先

2．熟悉scrapy爬虫架构以及相关技术知识，熟悉linux平台开发，熟悉python开发、精通信息抓取和整合技术，从结构化的和非结构化的数据中获取信息；

3、熟悉Mysql，redis，mongdb三者至少之一，有过数据库调优和海量数据存储经验优先；

4、具有搜索相关技术研发经验者优先、具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先；

5. 具有较强的分析和解决问题的能力；

6. 拥有良好的编程习惯，具备良好的服务意识，善于主动思考，自我驱动力强。有良好的沟通、协调能力，富有团队精神，有较强的文档编写能力；