公司名称

蓝思网络

项目名称

开发

需求描述

一、职责描述:

1、基于现有爬虫系统的架构开发与优化；

2、负责多平台信息的提取、去重、存储；

3、优化爬虫策略和防屏蔽规则，提升网页抓取的效率和质量；

4、能独立解决实际开发过程碰到的各类问题；

二、任职要求：

1、2年以上爬虫工作经验；

2、扎实的Python基础，熟悉Web爬虫，掌握反爬虫技术；

3、掌握常见爬虫库和框架，如urlib、requests、Scrapy、Selenium等，有实际项目经验；

4、熟悉基于正则表达式、Xpath，CSS选择器等网页信息抽取技术，和动态页面JS解密；

5、熟练使用redis、mysql等流行数据库，以及消息中间件kafka等技术。