Flask + Nginx + Gunicorn + Gevent部署

Flask + Nginx + Gunicorn + Gevent部署,第1张

==本教程仅适用于Linux和Mac==

部署是建立在你已经基本完成开发的基础上,所以Python的安装什么的就不再进行说明了,上述依赖的安装也不再赘述,请根据自己的平台查找安装教程,这里主要对配置进行说明。

Gunicorn的配置相比于uWSGI简单了很多,基本上一行命令就可以把项目跑起来。性能上据说uWSGI更加强大一些,不过在差距上并不明显, 至少在我的日常使用中没有因为Gunicorn出现过性能瓶颈,真的到了那一天再进行更换也不是什么特别麻烦的事情。

在项目跟目录创建一个gunicorn.py文件,当然名字和文件位置你可以进行更改。

这里我们采用gevent模式来支持并发,可以根据你自己的实际情况来进行模式选择。我最近的项目因为阻塞主要是对SAP数据查询导致的,所使用的库并不是纯Python编写,也没有说明支持协程,所以我我采用了gthead模式。

首先我们调用了gevent的Monkey Patch黑科技,该方法hook了标准卡里面的大部分阻塞操作,使得在我们进行长时间IO操作时可以切换到别的协程,从而实现异步并发。然后我们创建log目录,设置log路径,设置端口什么的。

接着我们设置worker的数量,也就是进程数,通常设置为服务器核心数2倍+1,这也是官方文档事例中的配置。最后再设置一下worker的模式,这里填写的就是前文所说的gevent。

更多项目配置请参照官方文档

http://docs.gunicorn.org/en/latest/configure.html#

不管你是用flask-script还是flask-cli来启动项目,一定会有一个入口文件(这名字一定很不规范),里面创建并启动了Flask App实例。这里再创建一个程序入口,这个入口专门为Gunicorn服务,用来启动生产环境。

再根目录创建一个wsgi.py文件,名字目录还是可以随意更改。

这里和你普通的程序入口并没有什么区别,中间对logger的一顿操作是把app的logger修改为gunicorn的,这样我们再上一步设置的log路径才能生效。

测试配置是否正确最简单的方法就是跑一下。

如果你是用了虚拟环境,首先要先进入虚拟环境(这里强烈建议使用虚拟环境,我还是使用传统的virtualenv)。

然后执行命令:

gunicorn.py和wsgi:application根据前两部的文件名和变量名自行更改

Uninx哲学,没有消息就是最好的消息,如果没有报错,程序就顺利跑起来了。这时如果有图形界面或者设置的端口是开放给外网的,你就可以访问项目试试看是否成功运行,如果无法通过外网访问并没有图形界面,也可以通过wget命令进行测试,请确保这个步骤正确再进行下一步操作。如果这一步顺利完成,就可以Ctrl+C退出了,因为我们不需要手动启动项目,接下来我们将通过Supervisor来帮助我们管理项目的进程。

Supervisor是一个用Python编写的进程管理工具,我们这里通过他来管理我们的项目进程,开启关闭啥的。

首先检查是否存在配置文件,一般配置文件的路径是

如果配置文件不存在,我们可以通过命令来生成

配置文件的内容很多,项目配置可以参照官网文档

http://www.supervisord.org/introduction.html

打开配置文件的最后一行

默认一般是注释掉的,我们可以取消注释,这行配置的作用也很浅显,就是导入设置的路径下的所有conf文件,这使得我们如果有多个项目可以不用都写在同一个配置文件里,可以一个项目一个配置文件,更适合管理。这里的路径也是可以按照实际需求随意更改。这里需要重启Supervisor服务,我刚开始做的时候都是直接重启服务器,不过如果你没有把Supervisor自启动,重启后需要手动启动Supervisord

在设置的路径下新建一个配置文件,命令请根据上一步设置的扩展名。

project_name按照你的实际需求修改,作为你这个服务的唯一标识,用于启动停止服务时使用。

command修改为测试gunicorn时使用的命令,这里我因为使用了虚拟环境,所以我使用了绝对路径,指向了虚拟环境的gunicorn,这种配置我个人还是喜欢都使用绝对路径。

directory指定了工作路径,通常设置为项目根目录,我们填写的gunicorn.py和wsgi都是基于这个路径的。

更多配置请参照官网的配置文档。

管理Supervisor的项目是使用supervisorctl命令,我们可以启动项目试试看

如果没有报错,应该可以和上一步测试gunicorn一样可以正常访问项目了。

Nginx的各种好处就自行查询吧,我们这里就做一下简单的配置。

因为我的项目一般都是前后端分离的,所以这里这里还会配置CORS来解决跨域的问题

这里就不细说了,整段贴出来,说一下其中一些重点

add_header相关设置主要是CORS,解决跨域的

第一第二行末尾加了always作用是默认CORS只对2XX状态码有效,如果你用4XX或者别的错误状态返回结果依旧会提示跨域,所以加上always使得所有状态都可以正确返回。

Allow-Methods:请根据直接用到的请求方式进行设置,OPTIONS一定需要加上。

Allow-Headers:如果你在header的头部加上了自定义字段,请在这里也加上。

、、、

if ($request_method = 'OPTIONS') {

return 204

}

、、、

CORS在进行POST请求前会发一次OPTIONS请求试探试探,这里我们只要检测到OPTIONS请求,我们就返回204,告诉浏览器来吧来吧。

proxy_pass就是设置Nginx转发的地址,也就是设置成Gunicorn设置的地址和端口

proxy_set_header请根据你设置Nginx Server的端口填写

最后重启一下Nginx就可以了

看着步骤很多,其实除了Gunicorn都不是必须的,Supervisor和Nginx你要是不想使用其实也可以不使用,我说得比较啰嗦,不过其实很容易。

1.游戏服务器,基本是gevent ,tornado,twisted三选一,如游戏服务器框架gfirefly

2.爬虫,gevent的pool是个大杀器

3.使用gevent加速web应用,如flask搭配gevent,还可以实现长连接(ajax方式),websocket

gevent一般高并发用的比较多,goagent也使用了gevent,openstack使用了eventlet,这是gevent的胞弟

import socket

import re

def service_client(new_socket, request):

#为这个客户端返回数据

    # 1. 接收浏览器发送过来的请求,即http请求

    # GET / HTTP/1.1

# ……

# request = new_socket.recv(1024).decode("utf-8")

# print(">>>" * 20)

# print(request)

    request_lines = request.splitlines()

print("")

print(">" *20)

print(request_lines)

# GET /index.html HTTP/1.1

# get post put del

    ret = re.match(r"[^/]+(/[^ ]*)", request_lines[0])

file_name =""

    if ret:

file_name = ret.group(1)

print("*" *50, file_name)

if file_name =='/':

file_name ='/index.html'

    # 2. 返回http格式的数据给浏览器

    try:

# f = open("../buickmall/index.html", "rb")

        f = open("../buickmall" + file_name, "rb")

except:

response ="HTTP/1.1 404 NOT FOUND\r\n"

        response +="\r\n"

        response +="---file not found---"

        new_socket.send(response.encode("utf-8"))

else:

html_content = f.read()

f.close()

# 2.2 准备发送给浏览器的数据:Body

        response_body = html_content

# 2.1 准备发送给浏览器的数据:Header

        response_header ="HTTP/1.1 200 OK\r\n"

        response_header +="Content-Length:%d\r\n" % len(response_body)

response_header +="\r\n"

        response = response_header.encode("utf-8") + response_body

# 将Response发送给浏览器

        new_socket.send(response)

# 关闭套接

    # new_socket.close()·

def main():

"""用来完成整体的控制"""

    # 1. 创建套接字

    tcp_server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

# 2. 绑定

    tcp_server_socket.bind(("", 7890))

# 3. 变为监听套接字

    tcp_server_socket.listen(128)

tcp_server_socket.setblocking(False)# 将套接字变为非阻塞

    client_socket_list = list()

while True:

# 4. 等待新客户端的链接

        try:

new_socket, client_addr = tcp_server_socket.accept()

except Exceptionas ret:

pass

        else:

new_socket.setblocking(False)

client_socket_list.append(new_socket)

for client_socketin client_socket_list:

try:

recv_data = client_socket.recv(1024).decode("utf-8")

except Exceptionas ret:

pass

            else:

if recv_data:

# 5. 为这个客户端服务

                    service_client(client_socket, recv_data)

else:

client_socket.close()

client_socket_list.remove(client_socket)

# 6.关闭监听套接字

    tcp_server_socket.close()

if __name__ =="__main__":

main()

import socket

import re

import select

def service_client(new_socket, request):

"""为这个客户端返回数据"""

    # 1. 接收浏览器发送过来的请求,即http请求

    # GET / HTTP/1.1

# ……

# request = new_socket.recv(1024).decode("utf-8")

# print(">>>" * 20)

# print(request)

    request_lines = request.splitlines()

print("")

print(">" *20)

print(request_lines)

# GET /index.html HTTP/1.1

# get post put del

    ret = re.match(r"[^/]+(/[^ ]*)", request_lines[0])

file_name =""

    if ret:

file_name = ret.group(1)

print("*" *50, file_name)

if file_name =='/':

file_name ='/index.html'

    # 2. 返回http格式的数据给浏览器

    try:

# f = open("../buickmall/index.html", "rb")

        f = open("../buickmall" + file_name, "rb")

except:

response ="HTTP/1.1 404 NOT FOUND\r\n"

        response +="\r\n"

        response +="---file not found---"

        new_socket.send(response.encode("utf-8"))

else:

html_content = f.read()

f.close()

# 2.2 准备发送给浏览器的数据:Body

        response_body = html_content

# 2.1 准备发送给浏览器的数据:Header

        response_header ="HTTP/1.1 200 OK\r\n"

        response_header +="Content-Length:%d\r\n" % len(response_body)

response_header +="\r\n"

        response = response_header.encode("utf-8") + response_body

# 将Response发送给浏览器

        new_socket.send(response)

# 关闭套接字

    # new_socket.close()

def main():

"""用来完成整体的控制"""

    # 1. 创建套接字

    tcp_server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

tcp_server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)

# 2. 绑定

    tcp_server_socket.bind(("", 7890))

# 3. 变为监听套接字

    tcp_server_socket.listen(128)

tcp_server_socket.setblocking(False)# 将套接字变为非阻塞

    # 创建一个epoll对象

    epl = select.epoll()

# 将监听套接字对应的fd注册到epoll中

    epl.register(tcp_server_socket.fileno(), select.EPOLLIN)

fd_event_dict = dict()

while True:

fd_event_list = epl.poll()# 默认会阻塞,直到os检测到数据到来,通过事件通知的方式告诉程序,此时才会解阻塞

        # [(fd, event), (……)]

        # 参数fd:套接字对应的文件描述符

        # 参数event:这个fd是什么事件,例如可调用recv接收等

        for fd, eventin fd_event_list:

# 4. 等待新客户端的链接

            if fd == tcp_server_socket.fileno():

new_socket, client_addr = tcp_server_socket.accept()

epl.register(new_socket.fileno(), select.EPOLLIN)

fd_event_dict[new_socket.fileno()] = new_socket

elif event == select.EPOLLIN:

# 判断已经链接的客户端是否有数据发送过来

                recv_data = fd_event_dict[fd].recv(1024).decode("utf-8")

if recv_data:

# 5. 为这个客户端服务

                    service_client(fd_event_dict[fd], recv_data)

else:

fd_event_dict[fd].close()

epl.unregister(fd)

del fd_event_dict[fd]

# 6.关闭监听套接字

    tcp_server_socket.close()

if __name__ =="__main__":

main()

import gevent

import time

from geventimport monkey

monkey.patch_all()

def f1(n):

for iin range(n):

print(gevent.getcurrent(), i)

time.sleep(0.5)

# gevent.sleep(0.5)

def f2(n):

for iin range(n):

print(gevent.getcurrent(), i)

time.sleep(0.5)

# gevent.sleep(0.5)

def f3(n):

for iin range(n):

print(gevent.getcurrent(), i)

time.sleep(0.5)

# gevent.sleep(0.5)

# print("---1---")

# g1 = gevent.spawn(f1, 5)  # 参数f指定协程在哪执行,需要传参就直接写在后边

# print("---2---")

# g2 = gevent.spawn(f2, 5)

# print("---3---")

# g3 = gevent.spawn(f3, 5)

# print("---4---")

# g1.join()

# g2.join()

# g3.join()

gevent.joinall([

gevent.spawn(f1, 5),

    gevent.spawn(f2, 5),

    gevent.spawn(f3, 5)

])

import urllib.request

import gevent

from geventimport monkey

monkey.patch_all()

def downloader(img_name, img_url):

req = urllib.request.urlopen(img_url)

img_content = req.read()

with open(img_name, "wb")as f:

f.write(img_content)

def main():

gevent.joinall([

gevent.spawn(downloader, "1.jpg","https://rpic.douyucdn.cn/live-cover/appCovers/2019/10/27/6510444_20191027144840_small.jpg"),

        gevent.spawn(downloader,"2.jpg","https://rpic.douyucdn.cn/appCovers/416825/20160915/802092c2192960b416832a28a59c373b_small.jpg")

])

if __name__ =="__main__":

main()

# 浏览器-->服务器发送的请求格式如下:

#

#  # 表示请求的目标、协议版本

#  POST / HTTP/1.1

#  # 表示服务器的IP地址和端口

#  Host: 127.0.0.1:8080

#  # 表示是长链接

#  Connection: keep-alive

#  # 表示谷歌浏览器告诉服务器,浏览器可以处理https协议

#  Upgrade-Insecure-Requests: 1

#  # 表示浏览器的版本

#  User-Agent: Mozilla/5.0 (Windows NT 10.0Win64x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.80 Safari/537.36

#  # 表示浏览器可以接收什么样的格式

#  Accept: text/html,application/xhtml+xml,application/xmlq=0.9,image/webp,image/apng,*/*q=0.8,application/signed-exchangev=b3

#  # 表示能够接收的压缩格式

#  Accept-Encoding: gzip, deflate, br

#  # 表示能接收的语言,能接收中文

#  Accept-Language: zh-CN,zhq=0.9

#

#  username:tom

#  password:123

#

# 服务器-->浏览器回送的数据格式如下:

#  HTTP/1.1 200 OK

#  Bdpagetype: 1

#  Bdqid: 0x9dd09c83000204a0

#  # 表示你的缓存是共享的、还是私有的,现在是私有的

#  Cache-Control: private

#  Connection: Keep-Alive

#  # 编码格式,浏览器就按照这个格式来解压

#  Content-Encoding: gzip

#  # 服务器传回的内容格式、字符集

#  Content-Type: text/htmlcharset=utf-8

#  Content-Length: 123456789

#  Cxy_all: baidu+34491ab9ca3c8ba32cebe1d26059f593

#  # 表示服务器当前的时间

#  Date: Sun, 23 Jun 2019 03:38:04 GMT

#  Expires: Sun, 23 Jun 2019 03:37:52 GMT

#  # 服务器:BWS是百度服务器的一个简称

#  Server: BWS/1.1

#  # 设置Cookie

#  Set-Cookie: delPer=0path=/domain=.baidu.com

#  Set-Cookie: BDSVRTM=0path=/

#  Set-Cookie: BD_HOME=0path=/

#  Set-Cookie: H_PS_PSSID=1441_21127_29135_29237_28518_29099_29131_29369_28833_29220_26350path=/domain=.baidu.com

#  Strict-Transport-Security: max-age=172800

#  Vary: Accept-Encoding

#  X-Ua-Compatible: IE=Edge,chrome=1

#  Transfer-Encoding: chunked

#

#  <h1>hahaha</h1>

import socket

def service_client(new_socket):

"""为这个客户端返回数据"""

    # 1. 接收浏览器发送过来的请求,即http请求

    # GET / HTTP/1.1

# ……

    request = new_socket.recv(1024)

print(request)

# 2. 返回http格式的数据给浏览器

    # 2.1 准备发送给浏览器的数据:Header

    response ="HTTP/1.1 200 OK\r\n"

    response +="\r\n"

    # 2.2 准备发送给浏览器的数据:Body

    response +="

"

    new_socket.send(response.encode("utf-8"))

# 关闭套接字

    new_socket.close()

def main():

"""用来完成整体的控制"""

    # 1. 创建套接字

    tcp_server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

tcp_server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)

# 2. 绑定

    tcp_server_socket.bind(("", 7890))

# 3. 变为监听套接字(最大连接数是128)

    tcp_server_socket.listen(128)

while True:

# 4. 等待新客户端的链接

        new_socket, client_addr = tcp_server_socket.accept()

# 5. 为这个客户端服务

        service_client(new_socket)

# 6.关闭监听套接字

    tcp_server_socket.close()

if __name__ =="__main__":

main()

while true:

print('---1---')

time.sleep(0.1)

yield

def task_2():

while true:

print('---2---')

time.sleep(0.1)

yield

def main():

t1 = task_1()

t2 = task_2()

while true:

    next(t1)

next(t2)

if __name__=="__main__":

import urllib.request

def main():

# req = urllib.request.urlopen("https://gss3.bdstatic.com/-Po3dSag_xI4khGkpoWK1HF6hhy/baike/whfpf%3D360%2C280%2C50/sign=71bcd12444fbfbeddc0c653f1ecdc400/18d8bc3eb13533faa998d335a7d3fd1f41345bfa.jpg")

  req = urllib.request.urlopen("import urllib.request

def main():

# req = urllib.request.urlopen("https://gss3.bdstatic.com/-Po3dSag_xI4khGkpoWK1HF6hhy/baike/whfpf%3D360%2C280%2C50/sign=71bcd12444fbfbeddc0c653f1ecdc400/18d8bc3eb13533faa998d335a7d3fd1f41345bfa.jpg")

  req = urllib.request.urlopen("https://gss2.bdstatic.com/-fo3dSag_xI4khGkpoWK1HF6hhy/baike/s%3D220/sign=bc88abda1fdfa9ecf92e511552d1f754/023b5bb5c9ea15ce788829cfb8003af33b87b296.jpg")

# req = urllib.request.urlopen("")

# req = urllib.request.urlopen("https://img.alicdn.com/tfs/TB1_.LJe7P2gK0jSZPxXXacQpXa-1880-640.jpg")

  img_content = req.read()

with open('4.jpg', 'wb')as f:

f.write(img_content)

if __name__ =='__main__':

main()")

  # req = urllib.request.urlopen("https://rpic.douyucdn.cn/live-cover/roomCover/cover_update/2019/09/17/1f067e8b2763c9cd4fd8f3a77ea12522.jpg/webpdy1")

# req = urllib.request.urlopen("https://img.alicdn.com/tfs/TB1_.LJe7P2gK0jSZPxXXacQpXa-1880-640.jpg")

  img_content = req.read()

with open('4.jpg', 'wb')as f:

f.write(img_content)

if __name__ =='__main__':

main()


欢迎分享,转载请注明来源:夏雨云

原文地址:https://www.xiayuyun.com/zonghe/279048.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-04-21
下一篇2023-04-21

发表评论

登录后才能评论

评论列表(0条)

    保存