公司名称

上海罗盘信息科技有限公司

项目名称

Python

需求描述

岗位职责：

1、分布式网络爬虫研发，不断完善现有抓取系统，通过对抓取、解析、调度、存储等模块的拆分与优化，形成具有本地服务特色的定向爬虫引擎，持续改进与迭代完善，推进开放服务建设；

2、抓取数据需求支持，不断满足精细化运营需求，在保证抓取系统不断前进的基础上，完成日常抓取与解析任务，对数据的稳定性负责。

任职要求：

1、熟悉并喜欢在Linux操作系统开发；

2、掌握Python语言，有1年以上年的使用经验加分；

3、熟练使用关系数据库（如mysql）或Nosql数据库（如mongodb），并至少精通其中的一个并在多个项目中使用过并有自己的心得和体会；

4、对异步处理或消息处理模式比较了解，熟悉并在项目中使用过twisted框架或消息中间件（如rabbitmq，activemq）加分；

5、有比较好的编程素养，懂得敏捷开发方法及软件设计模式，有实践经验；

6、了解scrapy和selenium的优先