2.高级爬虫开发工程师
工作职责:
参与爬虫架构设计和研发
参与爬虫核心算法和策略优化研究
技能要求:
3年以上Linux环境下C/C++开发经验, 熟练使用一门以上脚本语言(PHP/PYTHON/PERL等)
熟悉多线程、多进程、网络通信编程相关知识
2年以上大规模网页爬虫开发经验, 熟悉JS，ajax，网页消重
能够总结分析不同网站，网页的结构特点及规律
有分布式爬虫架构经验优先
有新闻/垂直领域爬虫开发经验优先
PS：需要排序，自然语言处理和抓取方向的，HC不限
crawler jd
打印