公司名称

龙湾科技(北京)有限公司

项目名称

Python

需求描述

技能要求：

系统爬虫

爬虫

Python

数据抓取

数据采集

精通LNMP

岗位职责：

1、 负责爬虫系统的设计、开发，以及网页抓取的效率和质量优化；

2、 负责对目标网站进行数据爬取分析，找到最优化的爬取策略；

3、 负责爬虫核心算法的策略优化研究，提升爬虫抓取效率和质量（如调权调度、分析预测、质量判断、封禁与反封禁研究等）；

4、 通过机器学习、深度学习等技术，建立数据挖掘模型，解决实际业务问题；

5、 负责大规模数据爬虫的性能优化、监控和报警，提高爬虫产品的稳定性和抓取效率；

6、 负责技术难点的攻克。

职位要求：

1、 计算机或相关专业本科以上学历，3年以上爬虫工作经验；

2、 精通Python语言特点及运行机制；

3、 精通LNMP架构，有较强的架构能力和良好代码规范；

4、 熟练掌握Python主流爬虫架构，精通Django架构；

5、 熟练掌握正则表达式、XPath、CSS等网页信息抽取技术；

6、 熟悉常见反爬机制，验证码识别，IP代理池、应用Ip池、headers认证和cookie等；

7、 熟练掌握应用Selenium+PhantomJS实施动态HTML抓取；

8、 熟悉熟练使用http代理工具charles、fiddler等；

9、 熟练掌握Linux平台开发，能独立安装、配置、搭建开发环境，编写shell脚本；

10、 精通Postpresql，Oracle，mysql等关系数据库；

11、 熟悉mongodb/hadoop、redis、rabbitMQ、kafka、zookeeper 等具有项目经验；

12、 熟悉自然语言处理、有一定算法功底，有python舆情产品、爬虫项目经验者优先；

13、 能承受一定的工作压力，有责任心、上进心，具备良好的自学能力和独立解决问题能力。