公司名称

上海秋晟资产管理有限公司

项目名称

IT工程师（爬虫网站开发方向）

需求描述

岗位职责：

1.、负责设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析工作，进行网页数据抽取、数据清洗和数据挖掘；

2.、负责公司网站的建设和维护，对出现的问题积极有效的进行处理、以及网站前后台的修改和升级，根据网站业务需要开发，制作和程序修改；

3、 负责MySQL数据库架构开发搭建，设计与部署；

4.、负责数据库日常运营、监控、数据备份与恢复方案的制定；

5.、保障公司网络和IT设备正常运行、处理常见PC系统故障，处理基本的网络通讯故障以及机房设备的维护。

任职要求：

1、本科及以上学历，计算机、软件工程、信息管理、计算机应用等理工专业；

2、2年以上爬虫程序python开发经验，熟悉linux平台开发，熟悉Java/Python语言；

3、熟悉python大规模网页爬取虫，有大量实际的反扒经验，能够对抗反爬策略，拥有解决解决封账号、封IP、破解复杂验证码的经验等情况，具有金融行业经验优先；

4、有丰富的数据库建模经验，有MySQL、MongoDB、Redis使用经验者优先；

5、需要有扎实的计算机专业基本功，较强的编码能力,具有一定的架构能力，熟练掌握 MySQL 应用开发、数据库原理和常用性能优化和扩展技术；

6、具有良好的 Java/python编程基础，熟悉HTML、JavaScript、CSS、AJAX以及等网页开发和分析工具，有独立建站经验者优先；

7、具有一定的技术架构思维，确保涉及的技术方案、开发的代码有较高性能、质量保障、扩展性、前瞻性；

8、具有很强的分析问题和解决问题的能力，良好的学习能力及沟通能力，并有强烈的责任心和积极主动的工作态度。