部署是建立在你已经基本完成开发的基础上,所以Python的安装什么的就不再进行说明了,上述依赖的安装也不再赘述,请根据自己的平台查找安装教程,这里主要对配置进行说明。
Gunicorn的配置相比于uWSGI简单了很多,基本上一行命令就可以把项目跑起来。性能上据说uWSGI更加强大一些,不过在差距上并不明显, 至少在我的日常使用中没有因为Gunicorn出现过性能瓶颈,真的到了那一天再进行更换也不是什么特别麻烦的事情。
在项目跟目录创建一个gunicorn.py文件,当然名字和文件位置你可以进行更改。
这里我们采用gevent模式来支持并发,可以根据你自己的实际情况来进行模式选择。我最近的项目因为阻塞主要是对SAP数据查询导致的,所使用的库并不是纯Python编写,也没有说明支持协程,所以我我采用了gthead模式。
首先我们调用了gevent的Monkey Patch黑科技,该方法hook了标准卡里面的大部分阻塞操作,使得在我们进行长时间IO操作时可以切换到别的协程,从而实现异步并发。然后我们创建log目录,设置log路径,设置端口什么的。
接着我们设置worker的数量,也就是进程数,通常设置为服务器核心数2倍+1,这也是官方文档事例中的配置。最后再设置一下worker的模式,这里填写的就是前文所说的gevent。
更多项目配置请参照官方文档
http://docs.gunicorn.org/en/latest/configure.html#
不管你是用flask-script还是flask-cli来启动项目,一定会有一个入口文件(这名字一定很不规范),里面创建并启动了Flask App实例。这里再创建一个程序入口,这个入口专门为Gunicorn服务,用来启动生产环境。
再根目录创建一个wsgi.py文件,名字目录还是可以随意更改。
这里和你普通的程序入口并没有什么区别,中间对logger的一顿操作是把app的logger修改为gunicorn的,这样我们再上一步设置的log路径才能生效。
测试配置是否正确最简单的方法就是跑一下。
如果你是用了虚拟环境,首先要先进入虚拟环境(这里强烈建议使用虚拟环境,我还是使用传统的virtualenv)。
然后执行命令:
gunicorn.py和wsgi:application根据前两部的文件名和变量名自行更改
Uninx哲学,没有消息就是最好的消息,如果没有报错,程序就顺利跑起来了。这时如果有图形界面或者设置的端口是开放给外网的,你就可以访问项目试试看是否成功运行,如果无法通过外网访问并没有图形界面,也可以通过wget命令进行测试,请确保这个步骤正确再进行下一步操作。如果这一步顺利完成,就可以Ctrl+C退出了,因为我们不需要手动启动项目,接下来我们将通过Supervisor来帮助我们管理项目的进程。
Supervisor是一个用Python编写的进程管理工具,我们这里通过他来管理我们的项目进程,开启关闭啥的。
首先检查是否存在配置文件,一般配置文件的路径是
如果配置文件不存在,我们可以通过命令来生成
配置文件的内容很多,项目配置可以参照官网文档
http://www.supervisord.org/introduction.html
打开配置文件的最后一行
默认一般是注释掉的,我们可以取消注释,这行配置的作用也很浅显,就是导入设置的路径下的所有conf文件,这使得我们如果有多个项目可以不用都写在同一个配置文件里,可以一个项目一个配置文件,更适合管理。这里的路径也是可以按照实际需求随意更改。这里需要重启Supervisor服务,我刚开始做的时候都是直接重启服务器,不过如果你没有把Supervisor自启动,重启后需要手动启动Supervisord
在设置的路径下新建一个配置文件,命令请根据上一步设置的扩展名。
project_name按照你的实际需求修改,作为你这个服务的唯一标识,用于启动停止服务时使用。
command修改为测试gunicorn时使用的命令,这里我因为使用了虚拟环境,所以我使用了绝对路径,指向了虚拟环境的gunicorn,这种配置我个人还是喜欢都使用绝对路径。
directory指定了工作路径,通常设置为项目根目录,我们填写的gunicorn.py和wsgi都是基于这个路径的。
更多配置请参照官网的配置文档。
管理Supervisor的项目是使用supervisorctl命令,我们可以启动项目试试看
如果没有报错,应该可以和上一步测试gunicorn一样可以正常访问项目了。
Nginx的各种好处就自行查询吧,我们这里就做一下简单的配置。
因为我的项目一般都是前后端分离的,所以这里这里还会配置CORS来解决跨域的问题
这里就不细说了,整段贴出来,说一下其中一些重点
add_header相关设置主要是CORS,解决跨域的
第一第二行末尾加了always作用是默认CORS只对2XX状态码有效,如果你用4XX或者别的错误状态返回结果依旧会提示跨域,所以加上always使得所有状态都可以正确返回。
Allow-Methods:请根据直接用到的请求方式进行设置,OPTIONS一定需要加上。
Allow-Headers:如果你在header的头部加上了自定义字段,请在这里也加上。
、、、
if ($request_method = 'OPTIONS') {
return 204
}
、、、
CORS在进行POST请求前会发一次OPTIONS请求试探试探,这里我们只要检测到OPTIONS请求,我们就返回204,告诉浏览器来吧来吧。
proxy_pass就是设置Nginx转发的地址,也就是设置成Gunicorn设置的地址和端口
proxy_set_header请根据你设置Nginx Server的端口填写
最后重启一下Nginx就可以了
看着步骤很多,其实除了Gunicorn都不是必须的,Supervisor和Nginx你要是不想使用其实也可以不使用,我说得比较啰嗦,不过其实很容易。
1.游戏服务器,基本是gevent ,tornado,twisted三选一,如游戏服务器框架gfirefly2.爬虫,gevent的pool是个大杀器
3.使用gevent加速web应用,如flask搭配gevent,还可以实现长连接(ajax方式),websocket
gevent一般高并发用的比较多,goagent也使用了gevent,openstack使用了eventlet,这是gevent的胞弟
import socket
import re
def service_client(new_socket, request):
#为这个客户端返回数据
# 1. 接收浏览器发送过来的请求,即http请求
# GET / HTTP/1.1
# ……
# request = new_socket.recv(1024).decode("utf-8")
# print(">>>" * 20)
# print(request)
request_lines = request.splitlines()
print("")
print(">" *20)
print(request_lines)
# GET /index.html HTTP/1.1
# get post put del
ret = re.match(r"[^/]+(/[^ ]*)", request_lines[0])
file_name =""
if ret:
file_name = ret.group(1)
print("*" *50, file_name)
if file_name =='/':
file_name ='/index.html'
# 2. 返回http格式的数据给浏览器
try:
# f = open("../buickmall/index.html", "rb")
f = open("../buickmall" + file_name, "rb")
except:
response ="HTTP/1.1 404 NOT FOUND\r\n"
response +="\r\n"
response +="---file not found---"
new_socket.send(response.encode("utf-8"))
else:
html_content = f.read()
f.close()
# 2.2 准备发送给浏览器的数据:Body
response_body = html_content
# 2.1 准备发送给浏览器的数据:Header
response_header ="HTTP/1.1 200 OK\r\n"
response_header +="Content-Length:%d\r\n" % len(response_body)
response_header +="\r\n"
response = response_header.encode("utf-8") + response_body
# 将Response发送给浏览器
new_socket.send(response)
# 关闭套接字
# new_socket.close()·
def main():
"""用来完成整体的控制"""
# 1. 创建套接字
tcp_server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
# 2. 绑定
tcp_server_socket.bind(("", 7890))
# 3. 变为监听套接字
tcp_server_socket.listen(128)
tcp_server_socket.setblocking(False)# 将套接字变为非阻塞
client_socket_list = list()
while True:
# 4. 等待新客户端的链接
try:
new_socket, client_addr = tcp_server_socket.accept()
except Exceptionas ret:
pass
else:
new_socket.setblocking(False)
client_socket_list.append(new_socket)
for client_socketin client_socket_list:
try:
recv_data = client_socket.recv(1024).decode("utf-8")
except Exceptionas ret:
pass
else:
if recv_data:
# 5. 为这个客户端服务
service_client(client_socket, recv_data)
else:
client_socket.close()
client_socket_list.remove(client_socket)
# 6.关闭监听套接字
tcp_server_socket.close()
if __name__ =="__main__":
main()
import socket
import re
import select
def service_client(new_socket, request):
"""为这个客户端返回数据"""
# 1. 接收浏览器发送过来的请求,即http请求
# GET / HTTP/1.1
# ……
# request = new_socket.recv(1024).decode("utf-8")
# print(">>>" * 20)
# print(request)
request_lines = request.splitlines()
print("")
print(">" *20)
print(request_lines)
# GET /index.html HTTP/1.1
# get post put del
ret = re.match(r"[^/]+(/[^ ]*)", request_lines[0])
file_name =""
if ret:
file_name = ret.group(1)
print("*" *50, file_name)
if file_name =='/':
file_name ='/index.html'
# 2. 返回http格式的数据给浏览器
try:
# f = open("../buickmall/index.html", "rb")
f = open("../buickmall" + file_name, "rb")
except:
response ="HTTP/1.1 404 NOT FOUND\r\n"
response +="\r\n"
response +="---file not found---"
new_socket.send(response.encode("utf-8"))
else:
html_content = f.read()
f.close()
# 2.2 准备发送给浏览器的数据:Body
response_body = html_content
# 2.1 准备发送给浏览器的数据:Header
response_header ="HTTP/1.1 200 OK\r\n"
response_header +="Content-Length:%d\r\n" % len(response_body)
response_header +="\r\n"
response = response_header.encode("utf-8") + response_body
# 将Response发送给浏览器
new_socket.send(response)
# 关闭套接字
# new_socket.close()
def main():
"""用来完成整体的控制"""
# 1. 创建套接字
tcp_server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
tcp_server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
# 2. 绑定
tcp_server_socket.bind(("", 7890))
# 3. 变为监听套接字
tcp_server_socket.listen(128)
tcp_server_socket.setblocking(False)# 将套接字变为非阻塞
# 创建一个epoll对象
epl = select.epoll()
# 将监听套接字对应的fd注册到epoll中
epl.register(tcp_server_socket.fileno(), select.EPOLLIN)
fd_event_dict = dict()
while True:
fd_event_list = epl.poll()# 默认会阻塞,直到os检测到数据到来,通过事件通知的方式告诉程序,此时才会解阻塞
# [(fd, event), (……)]
# 参数fd:套接字对应的文件描述符
# 参数event:这个fd是什么事件,例如可调用recv接收等
for fd, eventin fd_event_list:
# 4. 等待新客户端的链接
if fd == tcp_server_socket.fileno():
new_socket, client_addr = tcp_server_socket.accept()
epl.register(new_socket.fileno(), select.EPOLLIN)
fd_event_dict[new_socket.fileno()] = new_socket
elif event == select.EPOLLIN:
# 判断已经链接的客户端是否有数据发送过来
recv_data = fd_event_dict[fd].recv(1024).decode("utf-8")
if recv_data:
# 5. 为这个客户端服务
service_client(fd_event_dict[fd], recv_data)
else:
fd_event_dict[fd].close()
epl.unregister(fd)
del fd_event_dict[fd]
# 6.关闭监听套接字
tcp_server_socket.close()
if __name__ =="__main__":
main()
import gevent
import time
from geventimport monkey
monkey.patch_all()
def f1(n):
for iin range(n):
print(gevent.getcurrent(), i)
time.sleep(0.5)
# gevent.sleep(0.5)
def f2(n):
for iin range(n):
print(gevent.getcurrent(), i)
time.sleep(0.5)
# gevent.sleep(0.5)
def f3(n):
for iin range(n):
print(gevent.getcurrent(), i)
time.sleep(0.5)
# gevent.sleep(0.5)
# print("---1---")
# g1 = gevent.spawn(f1, 5) # 参数f指定协程在哪执行,需要传参就直接写在后边
# print("---2---")
# g2 = gevent.spawn(f2, 5)
# print("---3---")
# g3 = gevent.spawn(f3, 5)
# print("---4---")
# g1.join()
# g2.join()
# g3.join()
gevent.joinall([
gevent.spawn(f1, 5),
gevent.spawn(f2, 5),
gevent.spawn(f3, 5)
])
import urllib.request
import gevent
from geventimport monkey
monkey.patch_all()
def downloader(img_name, img_url):
req = urllib.request.urlopen(img_url)
img_content = req.read()
with open(img_name, "wb")as f:
f.write(img_content)
def main():
gevent.joinall([
gevent.spawn(downloader, "1.jpg","https://rpic.douyucdn.cn/live-cover/appCovers/2019/10/27/6510444_20191027144840_small.jpg"),
gevent.spawn(downloader,"2.jpg","https://rpic.douyucdn.cn/appCovers/416825/20160915/802092c2192960b416832a28a59c373b_small.jpg")
])
if __name__ =="__main__":
main()
# 浏览器-->服务器发送的请求格式如下:
#
# # 表示请求的目标、协议版本
# POST / HTTP/1.1
# # 表示服务器的IP地址和端口
# Host: 127.0.0.1:8080
# # 表示是长链接
# Connection: keep-alive
# # 表示谷歌浏览器告诉服务器,浏览器可以处理https协议
# Upgrade-Insecure-Requests: 1
# # 表示浏览器的版本
# User-Agent: Mozilla/5.0 (Windows NT 10.0Win64x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.80 Safari/537.36
# # 表示浏览器可以接收什么样的格式
# Accept: text/html,application/xhtml+xml,application/xmlq=0.9,image/webp,image/apng,*/*q=0.8,application/signed-exchangev=b3
# # 表示能够接收的压缩格式
# Accept-Encoding: gzip, deflate, br
# # 表示能接收的语言,能接收中文
# Accept-Language: zh-CN,zhq=0.9
#
# username:tom
# password:123
#
# 服务器-->浏览器回送的数据格式如下:
# HTTP/1.1 200 OK
# Bdpagetype: 1
# Bdqid: 0x9dd09c83000204a0
# # 表示你的缓存是共享的、还是私有的,现在是私有的
# Cache-Control: private
# Connection: Keep-Alive
# # 编码格式,浏览器就按照这个格式来解压
# Content-Encoding: gzip
# # 服务器传回的内容格式、字符集
# Content-Type: text/htmlcharset=utf-8
# Content-Length: 123456789
# Cxy_all: baidu+34491ab9ca3c8ba32cebe1d26059f593
# # 表示服务器当前的时间
# Date: Sun, 23 Jun 2019 03:38:04 GMT
# Expires: Sun, 23 Jun 2019 03:37:52 GMT
# # 服务器:BWS是百度服务器的一个简称
# Server: BWS/1.1
# # 设置Cookie
# Set-Cookie: delPer=0path=/domain=.baidu.com
# Set-Cookie: BDSVRTM=0path=/
# Set-Cookie: BD_HOME=0path=/
# Set-Cookie: H_PS_PSSID=1441_21127_29135_29237_28518_29099_29131_29369_28833_29220_26350path=/domain=.baidu.com
# Strict-Transport-Security: max-age=172800
# Vary: Accept-Encoding
# X-Ua-Compatible: IE=Edge,chrome=1
# Transfer-Encoding: chunked
#
# <h1>hahaha</h1>
import socket
def service_client(new_socket):
"""为这个客户端返回数据"""
# 1. 接收浏览器发送过来的请求,即http请求
# GET / HTTP/1.1
# ……
request = new_socket.recv(1024)
print(request)
# 2. 返回http格式的数据给浏览器
# 2.1 准备发送给浏览器的数据:Header
response ="HTTP/1.1 200 OK\r\n"
response +="\r\n"
# 2.2 准备发送给浏览器的数据:Body
response +="
"
new_socket.send(response.encode("utf-8"))
# 关闭套接字
new_socket.close()
def main():
"""用来完成整体的控制"""
# 1. 创建套接字
tcp_server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
tcp_server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
# 2. 绑定
tcp_server_socket.bind(("", 7890))
# 3. 变为监听套接字(最大连接数是128)
tcp_server_socket.listen(128)
while True:
# 4. 等待新客户端的链接
new_socket, client_addr = tcp_server_socket.accept()
# 5. 为这个客户端服务
service_client(new_socket)
# 6.关闭监听套接字
tcp_server_socket.close()
if __name__ =="__main__":
main()
while true:
print('---1---')
time.sleep(0.1)
yield
def task_2():
while true:
print('---2---')
time.sleep(0.1)
yield
def main():
t1 = task_1()
t2 = task_2()
while true:
next(t1)
next(t2)
if __name__=="__main__":
import urllib.request
def main():
# req = urllib.request.urlopen("https://gss3.bdstatic.com/-Po3dSag_xI4khGkpoWK1HF6hhy/baike/whfpf%3D360%2C280%2C50/sign=71bcd12444fbfbeddc0c653f1ecdc400/18d8bc3eb13533faa998d335a7d3fd1f41345bfa.jpg")
req = urllib.request.urlopen("import urllib.request
def main():
# req = urllib.request.urlopen("https://gss3.bdstatic.com/-Po3dSag_xI4khGkpoWK1HF6hhy/baike/whfpf%3D360%2C280%2C50/sign=71bcd12444fbfbeddc0c653f1ecdc400/18d8bc3eb13533faa998d335a7d3fd1f41345bfa.jpg")
req = urllib.request.urlopen("https://gss2.bdstatic.com/-fo3dSag_xI4khGkpoWK1HF6hhy/baike/s%3D220/sign=bc88abda1fdfa9ecf92e511552d1f754/023b5bb5c9ea15ce788829cfb8003af33b87b296.jpg")
# req = urllib.request.urlopen("")
# req = urllib.request.urlopen("https://img.alicdn.com/tfs/TB1_.LJe7P2gK0jSZPxXXacQpXa-1880-640.jpg")
img_content = req.read()
with open('4.jpg', 'wb')as f:
f.write(img_content)
if __name__ =='__main__':
main()")
# req = urllib.request.urlopen("https://rpic.douyucdn.cn/live-cover/roomCover/cover_update/2019/09/17/1f067e8b2763c9cd4fd8f3a77ea12522.jpg/webpdy1")
# req = urllib.request.urlopen("https://img.alicdn.com/tfs/TB1_.LJe7P2gK0jSZPxXXacQpXa-1880-640.jpg")
img_content = req.read()
with open('4.jpg', 'wb')as f:
f.write(img_content)
if __name__ =='__main__':
main()
欢迎分享,转载请注明来源:夏雨云
评论列表(0条)