岗位职责： 1.负责设计和开发爬虫系统，提取分析各种千形万态的平台页面内容； 2.研究各种网站、链接的形态，发现它们的特点和规律； 3.解决技术疑难问题，包括反反爬、压力控制等，提升网页抓取的效率和质量； 4.负责数据网络的抓取规划，定期爬取网站/app/公众号的数据，为业务部门提供数据支持。 岗任职要求： 1.计算机、数学、统计学等相关专业，本科以上学历 2.精通python、计算机网络，熟练使用多线程，熟悉Scrapy等常用爬虫框架； 3.熟悉Linux操作、正则表达式，MySQL、MongoDB等常用数据库，了解各种Web前端技术； 4.能够解决封账号、封IP、验证码识别、图像识别等问题； 薪酬福利待遇： 1、9k~15k，年节福利、交通方便，近地铁口。 2、实行5天8小时工作制;，享受国家法定假期，周末双休。 3、高端写字楼，办公环境好，同事之间好相处，公司都是90后。 4、提供中餐，公司安排入职、岗位、技能、综合素质等多种培训。