python多线程爬虫如何退出

python

解决方案 · 壹

一个比较nice的方式就是每个线程都带一个退出请求标志,在线程里面间隔一定的时间来检查一次,看是不是该自己离开了!

import threading

class StoppableThread(threading.Thread):

    """Thread class with a stop() method. The thread itself has to check

    regularly for the stopped() condition."""

    def __init__(self):

        super(StoppableThread, self).__init__()

        self._stop_event = threading.Event()

    def stop(self):

        self._stop_event.set()

    def stopped(self):

        return self._stop_event.is_set()

在这部分代码所示,当你想要退出线程的时候你应当显示调用stop()函数,并且使用join()函数来等待线程合适地退出。线程应当周期性地检测停止标志。

然而,还有一些使用场景中你真的需要kill掉一个线程:比如,当你封装了一个外部库,但是这个外部库在长时间调用,因此你想中断这个过程。

相关推荐:《Python基础教程》

解决方案 · 貳

接下来的方案是允许在python线程里面raise一个Exception(当然是有一些限制的)。

def _async_raise(tid, exctype):

    '''Raises an exception in the threads with id tid'''

    if not inspect.isclass(exctype):

        raise TypeError("Only types can be raised (not instances)")

    res = ctypes.pythonapi.PyThreadState_SetAsyncExc(tid,

                                                  ctypes.py_object(exctype))

    if res == 0:

        raise ValueError("invalid thread id")

    elif res != 1:

        # "if it returns a number greater than one, you're in trouble,

        # and you should call it again with exc=NULL to revert the effect"

        ctypes.pythonapi.PyThreadState_SetAsyncExc(tid, 0)

        raise SystemError("PyThreadState_SetAsyncExc failed")

class ThreadWithExc(threading.Thread):

    '''A thread class that supports raising exception in the thread from

       another thread.

    '''

    def _get_my_tid(self):

        """determines this (self's) thread id

        CAREFUL : this function is executed in the context of the caller

        thread, to get the identity of the thread represented by this

        instance.

        """

        if not self.isAlive():

            raise threading.ThreadError("the thread is not active")

        # do we have it cached?

        if hasattr(self, "_thread_id"):

            return self._thread_id

        # no, look for it in the _active dict

        for tid, tobj in threading._active.items():

            if tobj is self:

                self._thread_id = tid

                return tid

        # TODO: in python 2.6, there's a simpler way to do : self.ident

        raise AssertionError("could not determine the thread's id")

    def raiseExc(self, exctype):

        """Raises the given exception type in the context of this thread.

        If the thread is busy in a system call (time.sleep(),

        socket.accept(), ...), the exception is simply ignored.

        If you are sure that your exception should terminate the thread,

        one way to ensure that it works is:

            t = ThreadWithExc( ... )

            ...

            t.raiseExc( SomeException )

            while t.isAlive():

                time.sleep( 0.1 )

                t.raiseExc( SomeException )

        If the exception is to be caught by the thread, you need a way to

        check that your thread has caught it.

        CAREFUL : this function is executed in the context of the

        caller thread, to raise an excpetion in the context of the

        thread represented by this instance.

        """

        _async_raise( self._get_my_tid(), exctype )

正如注释里面描述,这不是啥“灵丹妙药”,因为,假如线程在python解释器之外busy,这样子的话终端异常就抓不到啦~

这个代码的合理使用方式是:让线程抓住一个特定的异常然后执行清理操作。这样的话你就能终端一个任务并能合适地进行清除。

解决方案 · 叁

假如我们要做个啥事情,类似于中断的方式,那么我们就可以用thread.join方式。

join的原理就是依次检验线程池中的线程是否结束,没有结束就阻塞直到线程结束,如果结束则跳转执行下一个线程的join函数。

先看看这个:

1. 阻塞主进程,专注于执行多线程中的程序。

2. 多线程多join的情况下,依次执行各线程的join方法,前头一个结束了才能执行后面一个。

3. 无参数,则等待到该线程结束,才开始执行下一个线程的join。

4. 参数timeout为线程的阻塞时间,如 timeout=2 就是罩着这个线程2s 以后,就不管他了,继续执行下面的代码。

# coding: utf-8

# 多线程join

import threading, time  

def doWaiting1():  

    print 'start waiting1: ' + time.strftime('%H:%M:%S') + "

"  

    time.sleep(3)  

    print 'stop waiting1: ' + time.strftime('%H:%M:%S') + "

def doWaiting2():  

    print 'start waiting2: ' + time.strftime('%H:%M:%S') + "

"   

    time.sleep(8)  

    print 'stop waiting2: ', time.strftime('%H:%M:%S') + "

"  

tsk = []    

thread1 = threading.Thread(target = doWaiting1)  

thread1.start()  

tsk.append(thread1)

thread2 = threading.Thread(target = doWaiting2)  

thread2.start()  

tsk.append(thread2)

print 'start join: ' + time.strftime('%H:%M:%S') + "

"   

for tt in tsk:

    tt.join()

print 'end join: ' + time.strftime('%H:%M:%S') + "

"

默认join方式,也就是不带参,阻塞模式,只有子线程运行完才运行其他的。

1、 两个线程在同一时间开启,join 函数执行。

2、waiting1 线程执行(等待)了3s 以后,结束。

3、waiting2 线程执行(等待)了8s 以后,运行结束。

4、join 函数(返回到了主进程)执行结束。

这里是默认的join方式,是在线程已经开始跑了之后,然后再join的,注意这点,join之后主线程就必须等子线程结束才会返回主线。

join的参数,也就是timeout参数,改为2,即join(2),那么结果就是如下了:

两个线程在同一时间开启,join 函数执行。

wating1 线程在执行(等待)了三秒以后,完成。

join 退出(两个2s,一共4s,36-32=4,无误)。

waiting2 线程由于没有在 join 规定的等待时间内(4s)完成,所以自己在后面执行完成。

以上是 python多线程爬虫如何退出 的全部内容, 来源链接: utcz.com/z/521555.html

回到顶部