公司名称

天宇正清科技有限公司

项目名称

Python

需求描述

岗位职责：

1、 负责爬虫系统的设计、开发，以及网页抓取的效率和质量优化；

2、 负责对目标网站进行数据爬取分析，找到最优化的爬取策略；

3、 负责爬虫核心算法的策略优化研究，提升爬虫抓取效率和质量（如调权调度、分析预测、质量判断、封禁与反封禁研究等）；

4、 通过机器学习、深度学习等技术，建立数据挖掘模型，解决实际业务问题；

5、 负责大规模数据爬虫的性能优化、监控和报警，提高爬虫产品的稳定性和抓取效率；

负责技术难点的攻克。

1、 计算机或相关专业本科以上学历，4年以上爬虫工作经验；

2、 熟练掌握Python开发；

3、 熟练掌握正则表达式、XPath、CSS等网页信息抽取技术；

4、 熟练掌握Python主流爬虫架构，精通Django架构；

5、 熟悉常见反爬机制，验证码识别，IP代理池、应用Ip池、headers认证和cookie等；

6、 熟练掌握应用Selenium+PhantomJS实施动态HTML抓取；

7、 熟悉熟练使用http代理工具charles、fiddler等；

8、 熟练掌握Linux平台开发，能独立安装、配置、搭建开发环境，编写shell脚本；

9、 精通Postpresql，Oracle，mysql等关系数据库；

10、 熟悉mongodb/hadoop、redis、rabbitMQ、kafka、zookeeper 等具有项目经验；

11、 熟悉自然语言处理、有一定算法功底，有python舆情产品、爬虫项目经验者优先；

能承受一定的工作压力，有责任心、上进心，具备良好的自学能力和独立解决问题能力。