基于自动化测试的定向网络爬虫的设计与实现
公安部第三研究所物联网技术研发中心; 上海201204
- 网络爬虫
- 自动化测试
- selenium
- 车辆品牌
摘要：为了快速地获取精准的车辆品牌对应图片数据,提出了一种基于自动化测试的定向网络爬虫程序设计方法。通过自动化测试技术模拟人浏览网页的方式,自动采集指定网页的车辆品牌外观图片,按品牌、款系、年代分类别存储,引入了增量更新爬虫策略,提高了爬行效率。利用该爬虫对汽车之家产品库进行车辆品牌图片爬取,取得了较好的效果。
注：因版权方要求，不能公开全文，如需全文，请咨询杂志社
