基于Scrapy框架的知乎用户爬虫

采用scrapy-redis分布式爬虫框架

相关的项目 - 更多比较

100 3k 968

X 本程序可以连续爬取一个或多个新浪微博用户(如胡歌、迪丽热巴、郭碧婷)的数据,并将结果信息写入文件或数据库。写入信息几乎包括用户微博的所有数据,包括用户信息和微博信息两大类。
 
10.0 5.7
  前天
Popular
1.8k 39k 8.9k

S Scrapy:一个快速高级的网站截图和网页采集框架
 
9.0 10.0
  4天前