网络编程其他篇

目录:

  • 1.1 SocketServer四种基本流及 异步处理理论部分
  • 1.2 创建socketserver实现: 多客户端并发
  • 1.3 SocketServer实现多并发FTP 部分功能

1.1 SocketServer四种基本流及 异步处理理论部分     返回顶部

  1、SocketServer作用

      1.  socket无法支持多并发,SocketServer 可以实现多并发

      2.  SocketServer使编写一个Socket服务器通信变得更加简单

      3.  SocketServer其实就是对socket的再封装

  2、SocketServer提供了4个基本的服务类

      1. TCPServer针对TCP套接字流
      2. UDPServer针对UDP数据报套接字
      3. UnixStreamServer和UnixDatagramServer针对UNIX域套接字,不常用(Unix本机间通信)
      4. 它们的继承关系如下:

                           

SocketIOServer 用于哪种场景 socketserver服务器_客户端

   3、异步处理

      1.  上面四个服务类都是同步处理请求的,一个请求没处理完不能处理下一个请求

ForkingMixIn 或 ThreadingMixIn

      3.  ForkingMixIn利用多进程(分叉)实现异步。

      4.  ThreadingMixIn利用多线程实现异步。

  4.、请求处理类

      1.  要实现一项服务,还必须派生一个handler class请求处理类,并重写父类的handle()方法

      2.  handle方法就是用来专门是处理请求的,该模块是通过服务类和请求处理类组合来处理请求的。

      3.  SocketServer模块提供的请求处理类有BaseRequestHandler,以及它的派生类StreamRequestHandler和DatagramRequestHandler

      4.  从名字看出可以一个处理流式套接字,一个处理数据报套接字。

  5、实现异步,支持多连接

      1.  前面介绍服务类时提到过,四个基本的服务类默认是同步模型的。

ForkingMixIn 或ThreadingMixInmix-in

class Server(ThreadingMixIn, TCPServer): pass

      4.  ForkingMixIn 要考虑进程间的通信。ThreadingMixIn要考虑线程访问同一变量时的同步和互斥

1.2 创建socketserver实现: 多客户端并发     返回顶部

  1、创建一个socketserver 至少分以下几步

      1.  创建一个request handler class(请求处理类),继承自BaseRequestHandler class并重写它的handle()方法,该方法将处理客户端的请求。

      2.  实例化一个server class对象,并将服务的地址和之前创建的request handler class传递给它。

           server class对象有这些:TCPServer;UDPServer;UnixStreamServer;UnixDatagramServer

      3.  调用server class对象的handle_request() 或 serve_forever()方法来开始处理请求

      4.  handle_request和server_forever区别是server_forever只是反复handle_request而已

SocketIOServer 用于哪种场景 socketserver服务器_请求处理_02

SocketIOServer 用于哪种场景 socketserver服务器_请求处理_03

import socketserver
class MyTcpServer(socketserver.BaseRequestHandler):
    def handle(self):
        while True:
            self.request.recv(1024)
            self.request.send('I am server'.encode('utf-8'))
server = socketserver.ThreadingTCPServer(('127.0.0.1',8888),MyTcpServer)
server.serve_forever()

简化版的server端代码如下

SocketIOServer 用于哪种场景 socketserver服务器_请求处理_02

SocketIOServer 用于哪种场景 socketserver服务器_请求处理_03

import socketserver
#每个客户端过来都会实例化一个MyTCPHandler实例,并调用handle方法来处理与客户端的通信
class MyTCPHandler(socketserver.BaseRequestHandler):
#1 第一步:创建一个request handler class(请求处理类),继承自BaseRequestHandler class
    def handle(self):    #2 第二步:并重写它的handle()方法,该方法将处理客户端的请求
        while True:
            try:
                self.data = self.request.recv(1024).strip()   #conn.recv(1024) = self.request.recv()
                print("{} wrote:".format(self.client_address[0]))
                print(self.data)
                self.request.send(self.data.upper())      #conn.send()=self.request.sendall()
            except ConnectionResetError as e:
                print("error",e)
                break
if __name__ == "__main__":
    HOST, PORT = "localhost", 9999
    server = socketserver.ThreadingTCPServer((HOST, PORT), MyTCPHandler) #socketserver.TCPServer(单)
    server.serve_forever()  #4 第四步:调用server class对象的serve_forever()方法来开始处理请求
#3 第三步:实例化一个server class对象,并将服务的地址和之前创建的request handler class传递给它
#注: 实例化一个server class对象工作原理
#a. (HOST, PORT):将监听地址当做一个参数传递给socketserver.TCPServer()
#b. 每连接一个客户端就用MyTCPHandler实例化一个对象,将实例对象传送给socketserver.TCPServer
#c. 然后服务器端使用MyTCPHandler类中的handle方法与客户端通信

socketserver实现多客户端并发: server端

SocketIOServer 用于哪种场景 socketserver服务器_请求处理_02

SocketIOServer 用于哪种场景 socketserver服务器_请求处理_03

import socket
client = socket.socket()                      #声明socket类型,同时生成socket连接对象
client.connect(('localhost',9999))            #指定要连接的服务器地址和端口号
while True:
    msg = input(">>:").strip()               #输入要发送给服务器的消息
    if len(msg) == 0:continue                #如果客户端输入空格,让客户端继续输入
    client.send(msg.encode("utf-8"))         #将输入的消息发送到服务器端
    data = client.recv(1024)                 #接收服务器端发送过来的数据,每次1024字节
    print('client_recv:',data)               #将从服务器端接收的数据在客户端打印出来
client.close()

socketserver实现多客户端并发: client端

1.3 SocketServer实现多并发FTP 部分功能     返回顶部

  1、使用SocketServer完成FTP的多用户上传这个步骤

SocketIOServer 用于哪种场景 socketserver服务器_请求处理_02

SocketIOServer 用于哪种场景 socketserver服务器_请求处理_03

import socketserver,os,json                #服务器端代码
class MyTCPHandler(socketserver.BaseRequestHandler):
    def put(self,*args):
        '''接收客户端文件'''
        cmd_dic = args[0]
        filename = cmd_dic["filename"]
        filesize = cmd_dic["size"]
        if os.path.isfile(filename):
            f = open(filename + '.new','wb')
        else:
            f = open(filename,'wb')
            print("file not exist",filename)
        self.request.send(b"200 ok")
        receive_size = 0
        while receive_size < filesize:
            data = self.request.recv(1024)
            f.write(data)
            receive_size += len(data)
        else:
            print("file [%s] hsa uploaded ..."%filename)

    def handle(self):
        while True:
            try:
                self.data = self.request.recv(1024).strip()
                print("{} wrote:".format(self.client_address[0]))
                print(self.data)
                cmd_dic = json.loads(self.data.decode())
                action = cmd_dic["action"]
                if hasattr(self,action):
                    func = getattr(self,action)
                    func(cmd_dic)
            except ConnectionResetError as e:
                print("error",e)
                break
if __name__ == "__main__":
    HOST, PORT = "0.0.0.0", 9999
    server = socketserver.ThreadingTCPServer((HOST, PORT), MyTCPHandler)
    server.serve_forever()

多用户上传: server端代码

SocketIOServer 用于哪种场景 socketserver服务器_请求处理_02

SocketIOServer 用于哪种场景 socketserver服务器_请求处理_03

import socket,os,json
class FtpClient(object):
    def __init__(self):
        self.client = socket.socket()
    def help(self):
        msg = '''ls; pwd; cd ..  ;get filename  ; put filename'''
        print(msg)
    def connect(self,ip,port):
        self.client.connect((ip,port))
    def interactive(self):
        #self.authenticate()
        while True:
            cmd = input(">>:").strip()
            if len(cmd) == 0:continue
            cmd_str = cmd.split()[0]
            if hasattr(self,'cmd_%s'%cmd_str):
                func = getattr(self,'cmd_%s'%cmd_str)
                func(cmd)
            else:
                self.help()
    def cmd_put(self,*args):
        cmd_split = args[0].split()
        if len(cmd_split) > 1:
            filename = cmd_split[1]
            if os.path.isfile(filename):
                filesize = os.stat(filename).st_size
                msg_dic = {
                    "action": "put",
                    "filename":filename,
                    'size':filesize,
                    'overridden':True
                }
                self.client.send( json.dumps(msg_dic).encode('utf-8') )
                server_response = self.client.recv(1024) #防止连包, 等服务器确认
                f = open(filename,'rb')
                for line in f:
                    self.client.send(line)
                else:
                    print("file upload success.....")
                    f.close()
            else:
                print(filename,"is not exist")
    def cmd_get(self):
        pass
ftp = FtpClient()
ftp.connect("1.1.1.3",9999)
ftp.interactive()

多用户上传: client端代码

SocketIOServer 用于哪种场景 socketserver服务器_请求处理_02

SocketIOServer 用于哪种场景 socketserver服务器_请求处理_03

1、将server端代码复制到Linux下,路径:/bbb/server.py
2. 将client端代码直接放到PyCharm中运行
3. 在PyCharm中执行put tt.py将本目录下的tt.py文件上传到linux的/bbb文件夹中
    >>:put tt.py
    file upload success.....
4. 执行命令完成后就可以看到有这个文件:/bbb/tt.py

用户上传运行演示

  2、文件传输时显示进度条

SocketIOServer 用于哪种场景 socketserver服务器_请求处理_02

SocketIOServer 用于哪种场景 socketserver服务器_请求处理_03

import sys,time
def view_bar(num, total):
    rate = num / total
    rate_num = int(rate * 100)
    r = '\r[%s%s]%d%%' % ("="*num, " "*(100-num), rate_num, )
    sys.stdout.write(r)
    sys.stdout.flush()

for i in range(0, 101):
    time.sleep(0.1)
    view_bar(i, 100)
    
# 1)这里使用的是sys.stdout.write(r),输出结果是进度条增加,但是不会换行
# 2)2.x中的print无法指定end符号为其他值,默认会输出一个"\n",也就是用一次必定换到下一行
# 3)到了3.x中print成为了一个真正意义上的函数,后来就可以任意指定end符号的值,你可以输出一次后末尾添加上任意你想要的值,而不是强制换行。
# 4)stdout没有end这个符号这一说,输出不会换行,因此如果你想同一样输出多次,在需要输出的字符串对象里面加上"\r",就可以回到行首了。

打印进度条代码