首页 > 期刊 > 人文社会科学 > 社会科学II > 教育综合 > 湖北师范大学学报·哲学社会科学版 > 基于Scrapy-Redis分布式数据采集平台的设计与实现 【正文】
摘要:针对微博平台大数据的采集、挖掘、分析等热点问题,深入介绍并分析了采集平台的相关理论技术,通过对采集平台功能结构及后台数据库设计、页面爬取和解析、反爬虫的应用技术设计、分布式策略设计等四个方面的技术研究,设计并实现了一种基于分布式的微博数据采集平台;给出了主从模式系统架构;达到了用户只需根据需要输入待爬取微博页面的ID,并选择要采集的数据类型,即可获得所需数据的目的。经测试,系统搭建成本低,爬取性能高,可运用于微博数据的舆情分析和数据调研等研究方面的基础数据采集。
注:因版权方要求,不能公开全文,如需全文,请咨询杂志社
一对一咨询服务、简单快捷、省时省力
了解更多 >直邮到家、实时跟踪、更安全更省心
了解更多 >去除中间环节享受低价,物流进度实时通知
了解更多 >正版杂志,匹配度高、性价比高、成功率高
了解更多 >