公司名称

北京蓝拓扑科技股份有限公司

项目名称

Python

需求描述

岗位职责：

1、爬虫框架开发维护；

2、数据抓取任务开发维护；

3、爬虫数据清洗聚合。

岗位要求：

1、全日制统招本科及以上学历，计算机相关专业；

2、3年及以上工作经验，熟练掌握Java开发语言且熟悉Python、JavaScript、GO中的一种或几种；

3、熟练进行多线程多进程异步调用程序的开发，对分布式系统有一定了解；

4、数据结构和算法功底较扎实；

5、熟悉HTTP协议，熟练使用正则表达式，XPATH，CSS选择器等爬虫开发常用技能；

6、熟悉Scrapy，Pyspider等常用的爬虫框架；熟悉常见的反爬虫技巧；

7、熟悉MySQL、PostgresSQL、 MongoDB、Redis中的至少一种；

8、熟练操作Linux系统，熟悉awksedgrep等常用linux工具；

9、完成领导交办的其他工作。