公司名称

北京海通文化传播有限公司

项目名称

Python

需求描述

岗位职责：

1. 完成对复杂网站的数据抓取和交互模拟；

2. 通过各种渠道或方式对相关网站进行抓取；

3. 不断完善并维护相关网站的抓取，使之稳定运行，核心逻辑必须有单元测试；

4. 善于灵活运用各种非爬虫技术解决爬虫相关问题；

5. 随时响应并解决突发问题；

任职要求：

1. 五年以上网站抓取经验，有电商网站、舆情相关抓取经验；

2. 有较强的网站分析能力，熟知各种反爬措施及相关解决办法

3. 熟练使用eventlet、gevent、requests、selenium等技术实现高并发稳定抓取；

4. 熟练使用消息队列（MQ）、celery等异步框架实现分布式任务处理；

5. 熟知HTTP、TCP、Socket等底层知识；

6. 熟练掌握Fiddler、Http debugger等抓捕工具；

7. 熟悉WebMagic、adsl拨号、正则表达式、脱壳技术、加密、图片破解、二维码识别、滑块验证码破解、httpClient、分词、分布式爬虫调度、数据质量监控、代理ip调度算法、配置化爬虫、授权爬虫、舆情、应用市场、反爬；

8. 熟悉MySQL、MongoDB基本使用；

9. 熟悉python Scapy，熟悉Javascript，有一定的分析能力。