Python3爬虫进阶：Redis存储（非关系型数据库）[python爬虫进阶]
Redis是一个基于内存的高效的键值型非关系型数据库，存取效率极高，而且支持多种存储数据结构，使用也非常简单。本节中，我们就来介绍一下Python的Redis操作，主要介绍RedisPy这个库的用法。
1. 准备工作
在开始之前，请确保已经安装好了Redis及RedisPy库。如果要做数据导入/导出操作的话，还需要安装RedisDump。如果没有安装，可以参考第1章。
2. Redis和StrictRedis
RedisPy库提供两个类Redis和StrictRedis来实现Redis的命令操作。
StrictRedis实现了绝大部分官方的命令，参数也一一对应，比如set()方法就对应Redis命令的set方法。而Redis是StrictRedis的子类，它的主要功能是用于向后兼容旧版本库里的几个方法。为了做兼容，它将方法做了改写，比如lrem()方法就将value和num参数的位置互换，这和Redis命令行的命令参数不一致。
官方推荐使用StrictRedis，所以本节中我们也用StrictRedis类的相关方法作演示。
3. 连接Redis
现在我们已经在本地安装了Redis并运行在6379端口，密码设置为foobared。那么，可以用如下示例连接Redis并测试：
from redis import StrictRedisredis = StrictRedis(host='localhost', port=6379, db=0, password='foobared')
redis.set('name', 'Bob')
print(redis.get('name'))
这里我们传入了Redis的地址、运行端口、使用的数据库和密码信息。在默认不传的情况下，这4个参数分别为localhost、6379、0和None。首先声明了一个StrictRedis对象，接下来调用set()方法，设置一个键值对，然后将其获取并打印。
运行结果如下：
b'Bob'
这说明我们连接成功，并可以执行set()和get()操作了。
当然，我们还可以使用ConnectionPool来连接，示例如下：
from redis import StrictRedis, ConnectionPoolpool = ConnectionPool(host='localhost', port=6379, db=0, password='foobared')
redis = StrictRedis(connection_pool=pool)
这样的连接效果是一样的。观察源码可以发现，StrictRedis内其实就是用host和port等参数又构造了一个ConnectionPool，所以直接将ConnectionPool当作参数传给StrictRedis也一样。
另外，ConnectionPool还支持通过URL来构建。URL的格式支持有如下3种：
redis://[:password]@host:port/dbrediss://[:password]@host:port/db
unix://[:password]@/path/to/socket.sock?db=db
这3种URL分别表示创建Redis TCP连接、Redis TCP+SSL连接、Redis UNIX socket连接。我们只需要构造上面任意一种URL即可，其中password部分如果有则可以写，没有则可以省略。下面再用URL连接演示一下：
url = 'redis://:foobared@localhost:6379/0'pool = ConnectionPool.from_url(url)
redis = StrictRedis(connection_pool=pool)
这里我们使用第一种连接字符串进行连接。首先，声明一个Redis连接字符串，然后调用from_url()方法创建ConnectionPool，接着将其传给StrictRedis即可完成连接，所以使用URL的连接方式还是比较方便的。
4. 键操作
表5-5总结了键的一些判断和操作方法。
表5-5 键的一些判断和操作方法
5. 字符串操作
Redis支持最基本的键值对形式存储，用法总结如表5-6所示。
表5-6 键值对形式存储
6. 列表操作
Redis还提供了列表存储，列表内的元素可以重复，而且可以从两端存储，用法如表5-7所示。
表5-7 列表操作
7. 集合操作
Redis还提供了集合存储，集合中的元素都是不重复的，用法如表5-8所示。
表5-8 集合操作
8. 有序集合操作
有序集合比集合多了一个分数字段，利用它可以对集合中的数据进行排序，其用法总结如表5-9所示。
表5-9 有序集合操作
9. 散列操作
Redis还提供了散列表的数据结构，我们可以用name指定一个散列表的名称，表内存储了各个键值对，用法总结如表5-10所示。
表5-10 散列操作
10. RedisDump
RedisDump提供了强大的Redis数据的导入和导出功能，现在就来看下它的具体用法。
首先，确保已经安装好了RedisDump。
RedisDump提供了两个可执行命令：redis-dump用于导出数据，redis-load用于导入数据。
redis-dump
首先，可以输入如下命令查看所有可选项：
redis-dump -h
运行结果如下：
Usage: redis-dump [global options] COMMAND [command options]-u, --uri=S Redis URI (e.g. redis://hostname[:port])
-d, --database=S Redis database (e.g. -d 15)
-s, --sleep=S Sleep for S seconds after dumping (for debugging)
-c, --count=S Chunk size (default: 10000)
-f, --filter=S Filter selected keys (passed directly to redis' KEYS command)
-O, --without_optimizations Disable run time optimizations
-V, --version Display version
-D, --debug
--nosafe
其中-u代表Redis连接字符串，-d代表数据库代号，-s代表导出之后的休眠时间，-c代表分块大小，默认是10000，-f代表导出时的过滤器，-O代表禁用运行时优化，-V用于显示版本，-D表示开启调试。
我们拿本地的Redis做测试，运行在6379端口上，密码为foobared，导出命令如下：
redis-dump -u :foobared@localhost:6379
如果没有密码的话，可以不加密码前缀，命令如下：
redis-dump -u localhost:6379
运行之后，可以将本地0至15号数据库的所有数据输出出来，例如：
{"db":0,"key":"name","ttl":-1,"type":"string","value":"James","size":5}{"db":0,"key":"name2","ttl":-1,"type":"string","value":"Durant","size":6}
{"db":0,"key":"name3","ttl":-1,"type":"string","value":"Durant","size":6}
{"db":0,"key":"name4","ttl":-1,"type":"string","value":"HelloWorld","size":10}
{"db":0,"key":"name5","ttl":-1,"type":"string","value":"James","size":5}
{"db":0,"key":"name6","ttl":-1,"type":"string","value":"James","size":5}
{"db":0,"key":"age","ttl":-1,"type":"string","value":"1","size":1}
{"db":0,"key":"age2","ttl":-1,"type":"string","value":"-5","size":2}
每条数据都包含6个字段，其中db即数据库代号，key即键名，ttl即该键值对的有效时间，type即键值类型，value即内容，size即占用空间。
如果想要将其输出为JSON行文件，可以使用如下命令：
redis-dump -u :foobared@localhost:6379 > ./redis_data.jl
这样就可以成功将Redis的所有数据库的所有数据导出成JSON行文件了。
另外，可以使用-d参数指定某个数据库的导出，例如只导出1号数据库的内容：
redis-dump -u :foobared@localhost:6379 -d 1 > ./redis.data.jl
如果只想导出特定的内容，比如想导出以adsl开头的数据，可以加入-f参数用来过滤，命令如下：
redis-dump -u :foobared@localhost:6379 -f adsl:* > ./redis.data.jl
其中-f参数即Redis的keys命令的参数，可以写一些过滤规则。
redis-load
同样，我们可以首先输入如下命令查看所有可选项：
redis-load -h
运行结果如下：
redis-load --helpTry: redis-load [global options] COMMAND [command options]
-u, --uri=S Redis URI (e.g. redis://hostname[:port])
-d, --database=S Redis database (e.g. -d 15)
-s, --sleep=S Sleep for S seconds after dumping (for debugging)
-n, --no_check_utf8
-V, --version Display version
-D, --debug
--nosafe
其中-u代表Redis连接字符串，-d代表数据库代号，默认是全部，-s代表导出之后的休眠时间，-n代表不检测UTF-8编码，-V表示显示版本，-D表示开启调试。
我们可以将JSON行文件导入到Redis数据库中：
< redis_data.json redis-load -u :foobared@localhost:6379
这样就可以成功将JSON行文件导入到数据库中了。
另外，下面的命令同样可以达到同样的效果：
cat redis_data.json | redis-load -u :foobared@localhost:6379
本节中，我们不仅了解了RedisPy对Redis数据库的一些基本操作，还演示了RedisDump对数据的导入导出操作。由于其便捷性和高效性，后面我们会利用Redis实现很多架构，如维护代理池、Cookies池、ADSL拨号代理池、Scrapy-Redis分布式架构等，所以Redis的操作需要好好掌握。
网，大量的免费python教程，欢迎在线学习！
本文转自：https://cuiqingcai.com/5587.html
以上是 Python3爬虫进阶：Redis存储（非关系型数据库）[python爬虫进阶] 的全部内容， 来源链接： utcz.com/z/520825.html
