公司名称

优购科技有限公司

项目名称

Python

需求描述

岗位职责：

1、负责设计、开发、维护分布式爬虫系统；

2、负责爬虫系统自动爬取、数据提取的核心算法和性能效果调优；

3、负责爬虫系统的后台监控、报警模块的开发。

4、负责爬虫技术攻坚，丰富爬虫反爬手段。

任职要求：

1、熟练掌握Python、JavaScript语言；

2、熟悉OSI模型、TCP/IP协议、HTTP协议等;

3、熟悉掌握Selenium、正则表达式、XPath、BeautifulSoup4等；

4、熟悉Scrapy、Django、Flask、web.py等框架；

5、熟悉关系型数据库(MySQL/PostgreSQL/Oracle)、非关系型数据库(MongoDB/HBase/Elasticsearch)、缓存数据库(Redis/Memcached)；

6、熟悉DjangoORM、SQLAlchemy等ORM框架；

7、有主要电商平台数据获取经验优先

8、有hive、impala、sqoop、dataX、Kudu等相关使用经验优先；

9、有良好的逻辑思维能力、沟通能力、学习能力、团队合作精神。