Python爬虫：生产者和消费者模式
认识生产者和消费者模式
生产者和消费者是多线程中很常见的一个问题。产生数据的模块，我们称之为生产者，而处理数据的模块，就称为消费者。但是单单只有生产者和消费者显然还是不够的，一般来说，我们还有一个缓冲区，抽象出来的流程如下图所示。
将这个过程以实际例子来说明：
假如我们是一个生产辣条的厂家，我们生产出来的辣条肯定是一箱一箱地放在仓库里面，然后卖出去给消费者。【不再考虑经销商环节】
1.我们把一箱一箱的辣条生产好。——>>>相当于生产者制造数据
2.我们把辣条放到仓库中。——>>>相当于将数据放到缓冲区
3.我们把辣条给取出来。——>>>相当于把数据从缓冲区取出
4.我们把取出的辣条卖给消费者吃掉。——>>>相当于从缓冲区出来的数据经过了处理
应用于爬虫
生产者：不断产生待爬取的url。【比如需要下载图片，此时就需要不断获取图片的url】
缓冲区：将获取到的url进行储存。
消费者：对生产者获取到的url从缓冲区拿出来，然后发起请求。【相当于对下载url】
对于通用爬虫(单线程)来说，我们拿到一个图片的url，然后就进行下载，效率太低。
对于异步爬虫(多线程)来说，我们可以同时从缓冲区取出多个图片的url，然后一次多张下载。
Queue队列线程安全
当采用多线程的生产者和消费者模式时，生产者生产出来的数据【对应于爬虫爬取到的图片url】,将其储存于缓冲区，【缓冲区即全局变量】，此时必然面临一个问题，就是数据不同步【数据错乱】等问题，后续再执行操作就存在一定问题了。
再举个例子：
比如有一个列表为A=[0]，此时去修改里面的值，修改实际上分为两步：第一步是选取到那个元素，第二步才是赋值修改。如果说是多线程来执行这个操作，就有可能会发生一些意想不到的错误。比如第一个线程要赋值为1，第二个线程要赋值为2。按照我们正常的理解，最终结果应该是2，但是对于多线程来说，它的结果也有可能是1。
考虑这一种情况，当线程1选定了A[0]，此时切换到了线程2，然后线程2选定了A[0]，并且执行了下一步赋值的操作，这样就先将A这个列表赋值为2了，接着再次切换到了线程1，此时线程1完成赋值（因为在前面已经选定），此时最终结果变为1。所以多线程总是会面临各种数据不安全的问题。
解决方案：
1.加锁机制(已经讲过)
2.Queue队列线程安全。
什么是Queue队列线程安全？
类似列表，但又不是列表。
在Python中提供了同步的、线程安全的队列类，这些队列都实现了锁原语，能够在多线程中直接使用。可以使用队列来实现线程间的同步，即保证数据不会乱掉。
众多python教程，尽在网，欢迎在线学习！
本文转自：https://blog.csdn.net/weixin_42830697/article/details/102957950
以上是 Python爬虫：生产者和消费者模式 的全部内容， 来源链接： utcz.com/z/521068.html
