Python爬取小说网站下载小说

  • Z时代
  • 2024-01-10
  • 分类：综合

python

1前言

这个小程序是用来爬取小说网站的小说的，一般的盗版小说网站都是很好爬取的

因为这种网站基本没有反爬虫机制的，所以可以直接爬取

该小程序以该网站http://www.126shu.com/15/下载全职法师为例

2.requests库

文档：http://www.python-requests.org/en/master/community/sponsors/

requests库非常得简单好用，他可以向网站发送请求，接收信息

最简单的一个例子即是

r = requests.get(url, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding

raise_for_status()的功能是若服务器发送404/502之类的错误码raise_for_status()便会抛出异常

r.encoding = r.apparent_encoding这一行语句用于调整编码，encoding为代码猜测出来的编码，可能并不准确

def get_html(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return " HTMLERROR "

3.BeautifulSoup库

BeautifulSoup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找

文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/

基本用法：

url_list=[]
soup = BeautifulSoup(html,\'lxml\')
lista = soup.find_all(\'dd\')

找到dd元素的原因是通过F12开发者工具发现每个章节的链接都在该元素中存储

于是可以在每个元素中都可以找到该链接，然后把他放在要返回的列表中

    for Url in lista:
        try:
            url_list.append(\'http://www.126shu.com/\'+Url.a[\'href\'])
        except:
            print(\'获取连接失败\')

4.获取内容

前两步处理完毕后获取了每个章节的链接，接下来就是对每个章节的内容进行处理

通过F12开发者工具我们同样可以发现文本在哪，标题在哪，于是可以写出代码，然后打开文件进行写入

def get_content(url):
    html = get_html(url).replace(\'<br/>\',\'\n\')
    soup = BeautifulSoup(html,\'lxml\')
    try:
        txt = soup.find(\'div\',id=\'content\').text
        title = soup.find(\'div\',\'hh\').text
        with open(\'全职法师.txt\',\'a+\',encoding = \'utf-8\')as f:
            f.write(title+\'\n\n\')
            f.write(txt)
    except:
        print(\'ERROR\')

5.完整代码

由于我只是下载后面的章节，于是在main()函数中我设置了n变量进行判断

import requests
import time
from bs4 import BeautifulSoup
def get_html(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return " HTMLERROR "
def get_url(url):
    url_list=[]
    html = get_html(url)
    soup = BeautifulSoup(html,\'lxml\')
    lista = soup.find_all(\'dd\')
    for Url in lista:
        try:
            url_list.append(\'http://www.126shu.com/\'+Url.a[\'href\'])
        except:
            print(\'获取连接失败\')
    return url_list
def get_content(url):
    html = get_html(url).replace(\'<br/>\',\'\n\')
    soup = BeautifulSoup(html,\'lxml\')
    try:
        txt = soup.find(\'div\',id=\'content\').text
        title = soup.find(\'div\',\'hh\').text
        with open(\'全职法师.txt\',\'a+\',encoding = \'utf-8\')as f:
            f.write(title+\'\n\n\')
            f.write(txt)
    except:
        print(\'ERROR\')
def main(url):
    url_list=get_url(url)
    n = 1
    for Url in url_list:
        n = n + 1
        if n>1525:
            get_content(Url)
url = \'http://www.126shu.com/15/\'
if __name__ ==\'__main__\':
    main(url)

以上是 Python爬取小说网站下载小说 的全部内容， 来源链接： utcz.com/z/387509.html

回到顶部