公司名称

拓尔思信息技术股份有限公司

项目名称

Python

需求描述

岗位职责：

1. 根据业务需求，研究爬虫策略和防屏蔽规则，设计和开发分布式爬虫，支持高并发多平台抓取；

2. 负责网页信息抽取、简单清洗、数据入库等开发；

3. 提升爬虫稳定性及可扩展性，充分利用资源，优化爬虫效率和质量。

任职资格：

1. 计算机软件及相关专业本科毕业；

2. 至少1年爬虫项目开发经验；

3. 熟悉爬虫原理及常见的反爬虫技术，如cookie、js加密、base64等；

3. 熟练运用python及多进程、多线程开发；

4. 熟练使用scrapy、requests、selenium、pyppeteer等爬虫包；

5. 熟悉html，正则、xpath等提取技术；

6. 熟悉Mysql、Redis等数据库及相关操作；

7. 熟悉Linux基础命令；

8. (优先)Django/Flask等web框架开发经验。