wdjh.net
当前位置:首页 >> python 爬虫安装哪些库库 >>

python 爬虫安装哪些库库

numpy、scipy、pandas

一般用到urllib.request,urllib.parse,http.cookiejar, re和BeautifulSoup等模块,视要爬的数据,网页来定,最基本的用到urllib.request和re就可以了,读取网页html,再用re的正则匹配,在深入就要用到其他模块了,当然还有许多其他的好模块,...

请求: requests/urllib/aiohttp(异步请求)/socket(socket请求) json解析: json html解析: pyquery/bs/lmxl/re... csv: csv sql: sqlite/mysql... 科学计算: numpy/scipy/matplotlib 模拟浏览器: selenium

你现在纠结的不应该是什么包 而是爬虫的程序实现 初步的爬虫只会涉及Python基础包 着急在初期用框架 我觉得最好不要 再难的网站用Python的基础包 request、re、json、random、time等这些基础框架 都足够实现 你应该找个网站做做入门一下

urllib, urllib2, urlparse, BeautifulSoup, mechanize, cookielib 等等啦 这些库的掌握并不难,网络爬虫难的是你要自己设计压力控制算法,还有你的解析算法,还有图的遍历算法等。

哪个方便用哪个,python连接数据库都有对应的包的,如果你嫌麻烦,可以用自带的sqlite3包。

不一定,也可以用自带的urllib 自己曾经测了下运行时间,在解析大一点的json上,requests比url好像要快很多,建议两个都接触,具体用哪个,分别相应情境下的时间

框架常用的有:scrapy ,pyspider 库比较多:requests, bs4, lxml

urllib 和urllib2是最基本的也是必须的。另外还可以装beautifulsoup

1.用Requests爬去你想要的爬取的网站 import requestsr = requests.get('https://www.baidu.com')print r.text # 打印网站源代码注意:使用Requests前需要安装Requests库,安装方法,命令行输入: pip install requests2. 用Beautiful Soup解析...

网站首页 | 网站地图
All rights reserved Powered by www.wdjh.net
copyright ©right 2010-2021。
内容来自网络,如有侵犯请联系客服。zhit325@qq.com