Python下的爬虫库，一般分为3类。

抓取类

1. urllib(Python3)，这是Python自带的库，可以模拟浏览器的请求，获得Response用来解析，其中提供了丰富的请求手段，支持Cookies、Headers等各类参数，众多爬虫库基本上都是基于它构建的。建议学习了解一下，因为有些罕见的问题需要通过底层的方式解决。
   

2. requests，基于urllib，但是更方便易用。强烈推荐掌握。

解析类

1. re：正则表达式官方库，不仅仅是学习爬虫要使用，在其他字符串处理或者自然语言处理的过程中，这是绕不过去的一个库，强烈推荐掌握。
   

2. BeautifulSoup：方便易用，好上手，推荐掌握。通过选择器的方式选取页面元素，并获取对应的内容。

3. lxml：使用

   lxml.etree

   将字符串转换之后，我们可以使用XPath表达式来解析网页，终极推荐。XPath对于网页解析的支持非常强大，而且很容易上手。它本来是设计出来进行XML元素选择的，但是它同样支持HTML。

4. pyquery：另一个强大的解析库，感兴趣的可以学习下。

综合类

1. selenium：所见即所得式爬虫，综合了抓取和解析两种功能，一站式解决。很多动态网页不太容易通过requests、scrapy直接抓取，比如有些url后边带了加密的随机数，这些算法不太好破解，这种情况下，只能通过直接访问网址、模拟登陆等方式请求到页面源码，直接从网页元素中解析内容，这种情况下，Selenium就是最好的选择。不过Selenium最初设计出来，是用于测试的。强烈推荐。
   

2. scrapy：另一个爬虫神器，适合爬取大量页面，甚至对分布式爬虫提供了良好的支持。强烈推荐。

以上这些是我个人经常使用的库，但是还有很多其他的工具值得学习。比如Splash也支持动态网页的抓取；Appium可以帮助我们抓取App的内容；Charles可以帮助我们抓包，不管是移动端还是PC网页端，都有良好的支持；pyspider也是一个综合性的框架；MySQL(pymysql)、MongoDB(pymongo)，抓到了数据就要存储，数据库也是绕不过去的。

掌握了以上这些，基本上大部分的爬虫任务都难不倒你啦！

你也可以关注我的头条号，或者我的个人博客，里边会有一些爬虫类的分享。数洞: www.data-insights.cn/www.data-insight.cn.

1.不用框架的话，强烈推荐requests库，这个库是真的唉urllib这些库好用

2.用框架的话，用scrapy，毕竟现在的一个主流，资料也多

我也在学习python爬虫，大家一起努力

框架的话:scrapy

库：requests

小项目自己写就行不需要用框架。

框架类的首推scrapy，一般的库首推requests，移动端爬虫工具appium

新手第一个demo就是用bs4+urllib去爬的小电影，结果发现，没空间存了，现在一些网站安全做的真差，一个head就搞定了，大部分都没安全……

Python爬虫，首推scrapy，架构比较清晰，代码写起来很简洁，如果是python纯新手的话，还是建议从urllib开始练手，熟悉python的编程基础。

Python爬虫库，基本的有urllib,bs4库，前者是Python自带的网页请求库，后者是常用的网页内容解析与提取库。一些基本爬虫功能基本可以通过这两个库实现。

除了这个两个，还有requests，pyquery,selenium,scrapy等库，这些库效率更高一点，能实现更为复杂的抓取工作。详情可以百度，书籍的话，推荐《Python网络数据采集》。

当然是Request_html 咯 这个库功能非常多! 抓取JavaScript CSS HTML 都不在话下! 没有它抓取不到的内容哦! 建议你也好好学一学吧!

Scrapy和Pyspider是两个比较好的python爬虫框架

谢邀请！不过 我可能给不了有价值的答案！

因为我本身不搞python 技术！有什么库确实不清楚，这个 你可以去百度一下！看看那些有经验的人大多是用什么的！python 语言是比较火的！所以网上的资料肯定很多！