职位职责: 1. 负责设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析工作; 2. 负责网页信息和APP数据抽取、清洗、消重等工作,提升平台的抓取效率; 职位要求: 1. 有扎实的算法和数据结构能力; 2. 熟悉网络协议,熟悉web相关的技术原理和数据抽取技术; 3. 熟悉爬虫原理,熟悉常见的反爬虫技术,有爬虫相关项目开发经验者优先; 4. 思路活跃,能积极推进爬虫工作进展,攻克技术难题; 5. 有大规模数据处理、数据挖掘、信息提取等经验者优先。