北京充电了么科技有限公司
Python
岗位职责:
1、 负责爬虫系统的设计、开发,以及网页抓取的效率和质量优化;
2、 负责对目标网站进行数据爬取分析,找到最优化的爬取策略;
3、 负责爬虫核心算法的策略优化研究,提升爬虫抓取效率和质量(如调权调度、分析预测、质量判断、封禁与反封禁研究等);
4、 通过机器学习、深度学习等技术,建立数据挖掘模型,解决实际业务问题;
5、 负责大规模数据爬虫的性能优化、监控和报警,提高爬虫产品的稳定性和抓取效率;
6、 负责技术难点的攻克。
职位要求:
1、 计算机或相关专业本科以上学历,4年以上爬虫工作经验;
2、 精通Python语言特点及运行机制;
3、 精通LNMP架构,有较强的架构能力和良好代码规范;
4、 熟练掌握Python主流爬虫架构,精通Django架构;
5、 熟练掌握正则表达式、XPath、CSS等网页信息抽取技术;
6、 熟悉常见反爬机制,验证码识别,IP代理池、应用Ip池、headers认证和cookie等;
7、 熟练掌握应用Selenium+PhantomJS实施动态HTML抓取;
8、 熟悉熟练使用http代理工具charles、fiddler等;
9、 熟练掌握Linux平台开发,能独立安装、配置、搭建开发环境,编写shell脚本;
10、 精通Postpresql,Oracle,mysql等关系数据库;
11、 熟悉mongodb/hadoop、redis、rabbitMQ、kafka、zookeeper 等具有项目经验;
12、 熟悉自然语言处理、有一定算法功底,有python舆情产品、爬虫项目经验者优先;
13、 能承受一定的工作压力,有责任心、上进心,具备良好的自学能力和独立解决问题能力。
覆盖所有行业和职位,不管你是上班族,高管,还是创业都有你要学习的视频和文章。其中大数据智能AI、区块链、深度学习是互联网一线工业级的实战经验。 除了专业技能学习,还有通用职场技能,比如企业管理、股权激励和设计、职业生涯规划、社交礼仪、沟通技巧、演讲技巧、开会技巧、发邮件技巧、工作压力如何放松、人脉关系等等,全方位提高你的专业水平和整体素质。
证券事务代表 悦商数科 8-12K/月 北京 4-6年
500以下/月产品经理 悦商数科 10-15K/月 北京 4-6年
500-1000/月电商SAAS产品 悦商数科 10-15K/月 北京 4-6年
500-1000/月技术经理 悦商数科 20-30K/月 北京 7-10年
1001-1500/月测试开发 悦商数科 300-500/天 苏州 1-3年
500以下/月Android开发 悦商数科 500-800/天 北京 1-3年
500-1000/月UI设计 悦商数科 800-1200/天 上海 4-6年
500-1000/月网络安全工程师 格尔软件 10-15K/月 盐城 4-6年
500-1000/月WAF开发 格尔软件 8-12K/月 北京 1-3年
500以下/月驻场运维 格尔软件 5-8K/月 南京 4-6年
500以下/月请联系客服400-0766-800
期望的项目信息