Python爬虫练习：爬取美元历史汇率

Z时代
2024-01-10
分类：综合

python

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

以上文章来源于小鹏友的数据分析之路，作者小鹏友

网址：https://chl.cn/?lishi

界面：

可以看出，网站上有2006至今的历史汇率数据。点击进“2020-9-30”入下个界面：

进入新的网页后，可以看到本人需要的爬取的数据：人民币兑美元汇率（其它汇率留给大家自主爬取）。

对比两个时间（2020-9-30和2020-9-29）的网页url，发现只有id不同，而且只差1，说明可以根据id号递增来循环爬取不同日期的汇率。

https://chl.cn/?id=7511 #2020-9-29https://chl.cn/?id=7512 #2020-9-30

接下来，解析人民币兑美元汇率（中间价）的源码：

第一，在chrome打开该网址，选择一个日期点击进入，然后按F12，鼠标点击右上角的箭头，再把箭头移动到需要爬取的汇率上，观察右边的源码，鼠标再次移动到对应的源码上，右键->edit as HTML，就可以看到具体的源码了。

第二，可以用re库，正则匹配出需要的内容：

https://chl.cn/?id=7511 #2020-9-29https://chl.cn/?id=7512 #2020-9-30

上述代码匹配到的内容如下（以2020-9-30为例）。可以看出，美元汇率存放在list[0]中（其它部分汇率也可以匹配得到）。

用以下代码可以进一步匹配到2020-9-30的美元汇率6.8101

最后，就是实实在在地敲代码去爬了。如果爬取2016年至今每天的汇率数据，时间会有点久，所以本文就只爬取了2019年5月6日（即id=5001）至今的汇率数据，效果如下：

全部代码：

import pandas as pd
import numpy as np
import requests
import re
import time
import datetime
def CHNtime2strtime(CHNtime):
"""
        功能：中文时间转字符串时间
        传入：一个中文时间，如“2020年9月30号”
        返回：字符串时间，如“2020-9-30”
"""
    CHNtime_list = re.findall(r"[u4e00-u9fa5]+",CHNtime)
for i in CHNtime_list:
if i != "日":
            CHNtime = CHNtime.replace(str(i),"-")
else:
            CHNtime = CHNtime.replace(str(i),"")
return CHNtime
def diff_days(str_time):   
"""
        功能：计算过去某天时间与今天的天数差，比如“2020-9-29”距离今天（2020-9-30）相差1天
        传入：一字符串时间，如“2020-9-30”
        返回：天数差（数值型）
"""
    date_time = datetime.datetime.strptime(str_time,"%Y-%m-%d")
    now_time = datetime.datetime.now()
    diff_time = now_time - date_time
    days = diff_time.days
return days
t = [] # 时间
dollar = [] # 美元
i = 5000 # 本文从id=5001（即2019-5-6）开始爬取
while True:  # 设置死循环
    i += 1    # 循环一次，id+1
# 请求头
    headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; 
        Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36"
    }
# 网址
    url = "https://chl.cn/?id={}".format(str(i))
# 请求响应
    r = requests.get(url,headers=headers)
    r.encoding = "utf-8"
    s = r.text
try:  #设置抛出异常，因为有些id，如id=7001，网页就不存在
        rate_list = re.findall(r"<td><a href=".*?">(.*?)</a>/人民币</td><td>(.*?)</td>",s)
        tt = re.findall(r"<h1>(.*?)汇率</h1>",s)[0] #日期
        strtime = CHNtime2strtime(tt) #中文时间转字符串时间
        t.append(datetime.datetime.strptime(strtime,"%Y-%m-%d"))
        dollar.append(rate_list[0][1]) #美元
        days = diff_days(strtime) # 计算天数差
print(tt,"爬取成功！")
print("当天距离现在相差：",days,"天")
if days == 0: #死循环终止条件：天数差为0时，即代表爬取到今天
break
except:
# 如果爬取的url不存在，那么时间与汇率就用控制代替
        t.append(np.nan)
        dollar.append(np.nan)
print("id = ",i,"",np.nan)
    time.sleep(0.2) #为了防止爬取的速度过快，设置睡眠时间为0.2s
df = pd.DataFrame() # 生产一个DataFrame用来存放数据
df["time"] = t
df["人民币兑美元汇率"] = dollar
df.dropna(inplace=True) # 将缺失值删去
df.to_excel("历史人民币兑美元汇率.xlsx",index=False) #在目前文件夹上生成excel文件
print("历史人民币兑美元汇率.xlsx 文件生成成功！")

以上是 Python爬虫练习：爬取美元历史汇率的全部内容，来源链接： utcz.com/z/530796.html

Python爬虫练习：爬取美元历史汇率

其他人也看了：