python基础之网络编程(下篇)
socket编程
中篇对socket的搭建服务端与客户端的连接进行了代码实现化,以及socket内置方法的认识及运用。
粘包现象的出现
在中篇中，对于tcp和udp制作了一个远程执行命令的程序（1：执行错误命令 2：执行ls 3：执行ifconfig）
在tcp下:在运行时会发生粘包
在udp下:在运行时永远不会发生粘包
什么是粘包
在上篇中,对于socket的收发消息的原理进行了一些阐释
所谓粘包,主要还是因为接受方不知道消息之间的界限,不知道一次提取多少字节的数据所造成的。
此外，发送方引起的粘包是由TCP协议本身造成的，TCP为提高传输效率，发送方往往要收集到足够多的数据后才发送一个TCP段。若连续几次需要send的数据都很少，通常TCP会根据优化算法把这些数据合成一个TCP段后一次发送出去，这样接收方就收到了粘包数据。
- TCP（transport control protocol，传输控制协议）是面向连接的，面向流的，提供高可靠性服务。收发两端（客户端和服务器端）都要有一一成对的socket，因此，发送端为了将多个发往接收端的包，更有效的发到对方，使用了优化方法（Nagle算法），将多次间隔较小且数据量小的数据，合并成一个大的数据块，然后进行封包。这样，接收端，就难于分辨出来了，必须提供科学的拆包机制。 即面向流的通信是无消息保护边界的。
- UDP（user datagram protocol，用户数据报协议）是无连接的，面向消息的，提供高效率服务。不会使用块的合并优化算法，, 由于UDP支持的是一对多的模式，所以接收端的skbuff(套接字缓冲区）采用了链式结构来记录每一个到达的UDP包，在每个UDP包中就有了消息头（消息来源地址，端口等信息），这样，对于接收端来说，就容易进行区分处理了。 即面向消息的通信是有消息保护边界的。
- tcp是基于数据流的，于是收发的消息不能为空，这就需要在客户端和服务端都添加空消息的处理机制，防止程序卡住，而udp是基于数据报的，即便是你输入的是空内容（直接回车），那也不是空消息，udp协议会帮你封装上消息头，实验略
粘包有俩种现象
一、发送数据时间间隔很短，数据了很小，会合到一起，产生粘包
from socket import *ip_port=(\'127.0.0.1\',8082)
back_log=5
buffer_size=1024
tcp_server=socket(AF_INET,SOCK_STREAM)
tcp_server.bind(ip_port)
tcp_server.listen(back_log)
conn,addr=tcp_server.accept()
data1=conn.recv(buffer_size) #指定buffer_size ,得到的结果就是通过Nagle算法，随机接收次数。
print(\'第1次数据\',data1)
data2=conn.recv(buffer_size)
print(\'第2次数据\',data2)
data3=conn.recv(buffer_size)
print(\'第3次数据\',data3)
服务端
from socket import *import time
ip_port=(\'127.0.0.1\',8082)
back_log=5
buffer_size=1024
tcp_client=socket(AF_INET,SOCK_STREAM)
tcp_client.connect(ip_port)
tcp_client.send(\'hello\'.encode(\'utf-8\'))
tcp_client.send(\'world\'.encode(\'utf-8\'))
tcp_client.send(\'egon\'.encode(\'utf-8\'))
客户端
第1次数据 b\'helloworldegon\'第2次数据 b\'\'
第3次数据 b\'\'
服务端与客户端连接的结果
二、客户端发送了一段数据，服务端只收了一小部分，服务端下次再收的时候还是从缓冲区拿上次遗留的数据，产生粘包
from socket import *ip_port=(\'127.0.0.1\',8080)
back_log=5
buffer_size=1024
tcp_server=socket(AF_INET,SOCK_STREAM)
tcp_server.bind(ip_port)
tcp_server.listen(back_log)
conn,addr=tcp_server.accept()
data1=conn.recv(1)
print(\'第1次数据\',data1)
# data2=conn.recv(5)
# print(\'第2次数据\',data2)
#
# data3=conn.recv(1)
# print(\'第3次数据\',data3)
服务端
from socket import *import time
ip_port=(\'127.0.0.1\',8080)
back_log=5
buffer_size=1024 #接收的数据只有1024
tcp_client=socket(AF_INET,SOCK_STREAM)
tcp_client.connect(ip_port)
tcp_client.send(\'helloworldegon\'.encode(\'utf-8\'))
time.sleep(1000)
客户端
第1次数据 b\'h\'第2次数据 b\'ellow\' #发送的数据过大，接收的数据设置的较小，就会出现导致粘包
第3次数据 b\'o\'
服务端与客户端连接的结果
补充知识：
1、tcp是可靠传输
tcp在数据传输时，发送端先把数据发送到自己的缓存中，然后协议控制将缓存中的数据发往对端，对端返回一个ack=1，发送端则清理缓存中的数据，对端返回ack=0，则重新发送数据，所以tcp是可靠的。
2、udp是不可靠传输
udp发送数据，对端是不会返回确认信息的，因此不可靠。
基于中篇的实现远程命令的例子,作出解决粘包的方法
#low版解决粘包版本服务端from socket import *
import subprocess
ip_port=(\'127.0.0.1\',8080)
back_log=5
buffer_size=1024
tcp_server=socket(AF_INET,SOCK_STREAM)
tcp_server.bind(ip_port)
tcp_server.listen(back_log)
while True:
conn,addr=tcp_server.accept()
print(\'新的客户端链接\',addr)
while True:
#收消息
try:
cmd=conn.recv(buffer_size)
if not cmd:break
print(\'收到客户端的命令\',cmd)
#执行命令，得到命令的运行结果cmd_res
res=subprocess.Popen(cmd.decode(\'utf-8\'),shell=True,
stderr=subprocess.PIPE,
stdout=subprocess.PIPE,
stdin=subprocess.PIPE)
err=res.stderr.read()
if err:
cmd_res=err
else:
cmd_res=res.stdout.read()
#发送消息
if not cmd_res:
cmd_res=\'执行成功\'.encode(\'gbk\')
length=len(cmd_res) #计算长度
conn.send(str(length).encode(\'utf-8\')) #把长度发给客户端
client_ready=conn.recv(buffer_size) #卡着一个recv
if client_ready == b\'ready\': #如果收到客户端的ready消息，就说明准备好了。
conn.send(cmd_res) #就可以send给客户端发送消息啦！
except Exception as e:
print(e)
break
low版解决粘包版本服务端
#low版解决粘包版客户端from socket import *
ip_port=(\'127.0.0.1\',8080)
back_log=5
buffer_size=1024
tcp_client=socket(AF_INET,SOCK_STREAM)
tcp_client.connect(ip_port)
while True:
cmd=input(\'>>: \').strip()
if not cmd:continue
if cmd == \'quit\':break
tcp_client.send(cmd.encode(\'utf-8\'))
#解决粘包
length=tcp_client.recv(buffer_size) #接收发送过来的长度（1024*8=8192，2**8192=可以接收的长度）
tcp_client.send(b\'ready\') #客户端再send给服务端，告诉服务端我准备好啦！
length=int(length.decode(\'utf-8\')) #先解码，转成字符串的长度
#解决思路：就是提前发一个头过去，告诉客户端需要接收的长度（分两步：1、发送发度 2、再次发送数据）
recv_size=0 #接收的尺寸
recv_msg=b\'\' #最后要拼接起来
while recv_size < length: #要收多大？，要先判断接收的尺寸<length
recv_msg += tcp_client.recv(buffer_size) #接收到的数据，拼接buffer_size，
recv_size=len(recv_msg) #1024 #衡量自己接收了多少数据,有没有收完（统计recv_msg的长度）
print(\'命令的执行结果是 \',recv_msg.decode(\'gbk\'))
tcp_client.close()
low版解决粘包版客户端
经过以上代码处理,再次进行 ipconfig dir这些命令则可以恢复正常,不会出现粘包问题
总结：
（为何low): 程序的运行速度远快于网络传输速度，所以在发送一段字节前，先用send去发送该字节流长度，这种方式会放大网络延迟带来的性能损耗。
接下来,有一种新的方式处理粘包的问题
import socket,time,subprocess,pickle,structip_port=(\'127.0.0.1\',8080)
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
s.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
s.bind(ip_port)
s.listen(5)
while True:
conn,addr=s.accept()
print(\'客户端\',addr)
while True:
msg=conn.recv(1024)
if not msg:break
res=subprocess.Popen(msg.decode(\'utf-8\'),shell=True,
stdin=subprocess.PIPE,
stderr=subprocess.PIPE,
stdout=subprocess.PIPE)
err=res.stderr.read()
if err:
ret=err
else:
ret=res.stdout.read()
l=struct.pack(\'i\',len(ret))
conn.sendall(l+ret)
# conn.send(str(len(ret)).encode(\'utf-8\'))
conn.close()
服务端
import socket,time,structs=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
res=s.connect_ex((\'127.0.0.1\',8080))
while True:
msg=input(\'>>: \').strip()
if len(msg) == 0:continue
if msg == \'quit\':break
s.send(msg.encode(\'utf-8\'))
l=s.recv(4)
x=struct.unpack(\'i\',l)[0]
print(type(x),x)
# print(struct.unpack(\'I\',l))
r_s=0
data=b\'\'
while r_s < x:
r_d = s.recv(1024)
data += r_d
r_s += len(r_d)
print(data.decode(\'gbk\'))
客户端
在解决了TCP的粘包问题,那么又该怎么解决TCP的并发问题
SocketServer是基于socket写成的一个更强大的模块。
SocketServer简化了网络服务器的编写。它有4个类：TCPServer，UDPServer，UnixStreamServer，UnixDatagramServer。这4个类是同步进行处理的，另外通过ForkingMixIn和ThreadingMixIn类来支持异步。
在python3中该模块是socketserver
在python2中该模块是Socketserver
服务器
服务器要使用处理程序，必须将其出入到服务器对象，定义了5个基本的服务器类型(就是“类”)。BaseServer，TCPServer，UnixStreamServer，UDPServer，UnixDatagramServer。注意：BaseServer不直接对外服务。
服务器：
要使用处理程序，必须将其传入到服务器的对象，定义了四个基本的服务器类。
（1）TCPServer(address,handler) 支持使用IPv4的TCP协议的服务器，address是一个（host,port）元组。Handler是BaseRequestHandler或StreamRequestHandler类的子类的实例。
（2）UDPServer(address,handler) 支持使用IPv4的UDP协议的服务器，address和handler与TCPServer中类似。
（3）UnixStreamServer(address,handler) 使用UNIX域套接字实现面向数据流协议的服务器，继承自TCPServer。
（4）UnixDatagramServer(address,handler) 使用UNIX域套接字实现数据报协议的服务器，继承自UDPServer。
这四个类的实例都有以下方法。
1、s.socket 用于传入请求的套接字对象。
2、s.sever_address 监听服务器的地址。如元组（"127.0.0.1",80）
3、s.RequestHandlerClass 传递给服务器构造函数并由用户提供的请求处理程序类。
4、s.serve_forever() 处理无限的请求 #无限处理client连接请求
5、s.shutdown() 停止serve_forever()循环
SocketServer模块中主要的有以下几个类：
1、BaseServer 包含服务器的核心功能与混合类（mix-in）的钩子功能。这个类主要用于派生，不要直接生成这个类的类对象，可以考虑使用TCPServer和UDPServer类。
2、TCPServer 基本的网络同步TCP服务器
3、UDPServer 基本的网络同步UDP服务器
4、ForkingTCPServer 是ForkingMixIn与TCPServer的组合
5、ForkingUDPServer 是ForkingMixIn与UDPServer的组合
6、ThreadingUDPServer 是ThreadingMixIn和UDPserver的组合
7、ThreadingTCPServer 是ThreadingMixIn和TCPserver的组合
8、BaseRequestHandler 必须创建一个请求处理类，它是BaseRequestHandler的子类并重载其handle()方法。
9、StreamRequestHandler 实现TCP请求处理类的
10、DatagramRequestHandler 实现UDP请求处理类的
11、ThreadingMixIn 实现了核心的线程化功能，用于与服务器类进行混合(mix-in)，以提供一些异步特性。不要直接生成这个类的对象。
12、ForkingMixIn 实现了核心的进程化功能，用于与服务器类进行混合(mix-in)，以提供一些异步特性。不要直接生成这个类的对象。
创建服务端的步骤：
1：首先必须创建一个请求处理类
2：它是BaseRequestHandler的子类
3：该请求处理类是BaseRequestHandler的子类并重新写其handle()方法
4：必须要有一个handle()方法,规则定义死的
实例化 请求处理类传入服务器地址和请求处理程序类
最后实例化调用serve_forever() #无限处理client请求
记住一个原则：对tcp来说：self.request=conn
在这里作一个简单的小例子
# TCP下实现的并发import socketserver
class Myserver(socketserver.BaseRequestHandler): # 必须要继承这个类
def handle(self): # 必须要有这个方法
print(self.request) # 相当于conn
print(self.client_address) # 连接过来的客户端地址
while True:
try:
data = self.request.recv(1024)
if not data:break
print("收到来自%s的消息是: %s" %(self.client_address,data.decode("utf-8")))
nr = input(">>>")
self.request.sendall(nr.encode("utf-8"))
except Exception:
break
if __name__ == \'__main__\':
# ip_port = input("请输入ip和端口")
obj = socketserver.ThreadingTCPServer(("127.0.0.1",6060),Myserver)
obj.serve_forever()
服务端
import socketip_port = ("127.0.0.1",6060)
buffer_size = 1024
s = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
s.connect(ip_port)
while True:
nr = input(">>>").strip() #
if not nr:continue
s.sendall(bytes(nr, encoding="utf-8"))
res = s.recv(buffer_size)
print("来自远方的消息",str(res, encoding="utf-8"))
客户端
源码剖析。。。未完待续……
以上是 python基础之网络编程(下篇) 的全部内容， 来源链接： utcz.com/z/386710.html
