Web爬虫 - 抓取网站内容的库

分类 - 设置更多关注

排序

按热度排序
748 4.6k 2.2k

T TuShare是实现对股票/期货等金融数据从**数据采集**、**清洗加工** 到 **数据存储**过程的工具
 
10.0 0.3
Popular
248 2.3k 917

Y 越来越多的网站具有反爬虫特性,有的用图片隐藏关键数据,有的使用反人类的验证码,建立反反爬虫的代码仓库,通过与不同特性的网站做斗争(无恶意)提高技术
 
9.5 6.2
  5天前
104 2.3k 265

G 各种不同语言实现的爬虫程序和爬虫框架集合
 
9.399999999999999 4.0
  4天前
Popular
1.6k 24.5k 6.2k

S Scrapy:一个快速高级的网站截图和网页采集框架
 
9.0 9.8
Featured
149 2.1k 656

简易爬虫代理池
 
8.7 7.0
  5天前
34 987 61

G Gain 采用asyncio, uvloop和aiohttp编写的Web爬虫框架
 
3.2 3.3000000000000003
  9天前
121 998 505

豆瓣读书的爬虫
 
3.1 0.0
  8月前
25 881 51

S Sukhoi 简约和强大的Web爬虫
 
2.9 0.0
82 796 328

P PSpider - Python3下极为简洁的爬虫框架
 
2.5 3.8
  10天前
161 705 417

E 实时获取新浪 / Leverfun 的免费股票以及 level2 十档行情 / 集思路的分级基金行情
 
2.2 0.7000000000000001
  13天前
65 661 240

D django-dynamic-scraper - 通过Django管理界面创建爬虫
 
2.0 0.8
  1月前
55 635 187

P 爬取微信公众号文章
 
1.9 0.0
  2年前
38 635 104

F fake-useragent 伪装浏览器身份,常用于爬虫。这个项目的代码很少,可以阅读一下,看看 ua.random 是如何返回随机的浏览器身份的
 
1.9 0.3
  1月前
136 578 125

C crawl-frontier-一个灵活前沿的web 抓取框架
 
1.7999999999999998 2.3000000000000003
52 497 266

P Python爬虫,京东自动登录,在线抢购商品
 
1.6 3.5
  5天前
42 361 55

M Malspider是一个网络爬虫框架,它检测网络依赖性的特点
 
1.1 0.0
38 357 115

Z 知乎爬虫(验证码自动识别)
 
1.1 0.0
  11月前
43 339 223

Q QQ空间爬虫(日志、说说、个人信息)
 
1.1 0.0
  1年前
56 339 209

M MSpider - 一个简单、容易使用的Spider使用gevent和js渲染器
 
1.0 0.0
  11月前