并发:指定时间段内的请求数！
高并发:指定时间段内的超多请求数！
比如tomcat，单机最大支持并发数为8000左右，redis理论值可达到几万！
那么怎么设计一套可支持高并发的系统呢？使用技术如下:
1，分布式系统，微服务:使用springcloud家族包括eureka，zuul，feign，hysrix等或者dubbo搭建一套微服务框架！
2，前后端分离:使用node.js搭建前端服务系统！
3，静态化处理:将页面，后台枚举，数据库定义表等使用静态处理方式做处理！
4，文件服务器剥离:采用单独的文件服务器，防止页面加载的阻塞！
5，缓存:使用redis，memcache等将运行时数据缓存，代替频繁的操作数据库！
6，数据库:读写分离或者分库分表，采用druid等有性能监控系统的数据库连接框架！
7，消息中间件:使用xxxmq，kafka等消息中间件，解耦服务，而且异步处理效率更高！
8，反向代理:使用nginx等负载均衡服务！
9，代码层:避免大量创建对象，避免阻塞IO，避免多层for循环，避免线程死锁，避免大量同步！
10，各种优化:包括jvm优化，表结构优化，sql优化，关键字段加索引（注意避免索引失效），连接池优化等等！
11，搜索引擎:sql有大量的like语句，有必要切换成solr等搜索引擎！
12，cdn:使用CDN技术将请求分发到最合适的主机上，避免网络传输的延迟！
13，使用batch:增删改能一次做的别分为两次，但要注意batch合理设计，防止数据丢失！
14，限流，削峰！
大型网站遇到的挑战，主要是大量的用户，高并发的访问，就算一个简单的增删查改的功能，如果面对的是百万、千万甚至亿级的用户，都是一件难度很大的事情。
数据从数据库到浏览器的过程：数据库->应用数据集->内存对象->动态页面->HTTP服务器->用户浏览器。 那么我们可以把高并发的设计分成几个层次：
前端是指，用户的请求还没有到服务前的环节。
系统架构大了，部署的服务器多了，很多事情不可能通过人工完成了，比如一个接口调用发生了错误，不可能人工登录到服务器上去查日志吧，所以这些东西也是必不可少的。
都是说个大概，后面有机会的话，会把每一项都展开详细说明。
希望我的回答能够帮助到你！
我们通过这些架构要素来衡量我们整体系统架构设计的优劣，来判断是否达到了我们的要求。
性能是大型网站架构设计的一个重要方面，任何软件架构设计方案都必须考虑可能带来的性能问题，也正因为性能问题几乎无处不在，在请求链路的任何一个环节，都是我们去做极致性能优化方案中的切入点。
衡量一个系统架构设计是否满足高可用的目标，就是假设系统中任何一台或者多台服务器宕机时，以及出现各种不可预期的问题时，系统整体是否依然可用。
网站的伸缩性是指不需要改变服务器的硬件设计，仅仅靠改变应用服务器的部署数量，就可以扩大或缩小服务器的处理能力。
网站快速发展，功能不断扩展，如何设计网站的架构使其能够快速响应需求变化，是网站可扩展架构的主要目标。
互联网跟传统软件不同，它是开放的，任何人在任何地方都可以访问网站。网站的安全架构就是保护网站不受恶意访问和攻击，保护网站的重要数据不被窃取。
安全性架构，具体来说说就是保证数据的保密性、完整性、真实性、占有性。
要完全掌握大型网站的架构设计方案，或许你可以点击我头像，进入我的专栏"深入大型网站核心架构实战"。
这期专栏是笔者总结了当下这些互联网行业中相对成熟且经过大型网站检验的技术和方案，内容涵盖构建大型互联网系统服务所需的关键技术。
拉模式(点对点消息)
如果没有消费者在监听队列，消息将保留在队列中，直至消息消费者连接到队列为止。在这种模型中，消息不是自动推动给消息消费者的，而是要由消息消费者从队列中请求获得。
推模式(发布订阅消息)
在该模型中，消息会自动广播，消息消费者无须通过主动请求或轮询主题的方法来获得新的消息。
消息队列比较核心的应用场合有三个：解耦、异步和削峰
在消息队列中一种常用的消息推送类型是推拉模式
下面是推拉模式的对比：
具体的比较
1.Push模式
推模式是服务器端根据用户需要，由目的、按时将用户感兴趣的信息主动发送到用户的客户端
Push模式的主要优点是
Push模式的缺点
2.Pull模式
拉模式是客户端主动从服务器端获取信息
拉模式的主要优点是
拉模式的缺点
一套好的日志分析系统可以详细记录系统的运行情况，方便我们定位分析系统性能瓶颈、查找定位系统问题。上一篇说明了日志的多种业务场景以及日志记录的实现方式，那么日志记录下来，相关人员就需要对日志数据进行处理与分析，基于E(ElasticSearch)L(Logstash)K(Kibana)组合的日志分析系统可以说是目前各家公司普遍的首选方案。
作为微服务集群，必须要考虑当微服务访问量暴增时的高并发场景，此时系统的日志数据同样是爆发式增长，我们需要通过消息队列做流量削峰处理，Logstash官方提供Redis、Kafka、RabbitMQ等输入插件。Redis虽然可以用作消息队列，但其各项功能显示不如单一实现的消息队列，所以通常情况下并不使用它的消息队列功能；Kafka的性能要优于RabbitMQ，通常在日志采集，数据采集时使用较多，所以这里我们采用Kafka实现消息队列功能。
ELK日志分析系统中，数据传输、数据保存、数据展示、流量削峰功能都有了，还少一个组件，就是日志数据的采集，虽然log4j2可以将日志数据发送到Kafka，甚至可以将日志直接输入到Logstash，但是基于系统设计解耦的考虑，业务系统运行不会影响到日志分析系统，同时日志分析系统也不会影响到业务系统，所以，业务只需将日志记录下来，然后由日志分析系统去采集分析即可，Filebeat是ELK日志系统中常用的日志采集器，它是 Elastic Stack 的一部分，因此能够与 Logstash、Elasticsearch 和 Kibana 无缝协作。
软件下载：
因经常遇到在内网搭建环境的问题，所以这里习惯使用下载软件包的方式进行安装，虽没有使用Yum、Docker等安装方便，但是可以对软件目录、配置信息等有更深的了解，在后续采用Yum、Docker等方式安装时，也能清楚安装了哪些东西，安装配置的文件是怎样的，即使出现问题，也可以快速的定位解决。
Elastic Stack全家桶下载主页： https://www.elastic.co/cn/downloads/
我们选择如下版本：
Kafka下载：
安装前先准备好三台CentOS7服务器用于集群安装，这是IP地址为：172.16.20.220、172.16.20.221、172.16.20.222，然后将上面下载的软件包上传至三台服务器的/usr/local目录。因服务器资源有限，这里所有的软件都安装在这三台集群服务器上，在实际生产环境中，请根据业务需求设计规划进行安装。
在集群搭建时，如果能够编写shell安装脚本就会很方便，如果不能编写，就需要在每台服务器上执行安装命令，多数ssh客户端提供了多会话同时输入的功能，这里一些通用安装命令可以选择启用该功能。
新建/usr/local/java目录
将下载的jdk软件包jdk-8u64-linux-x64.tar.gz上传到/usr/local/java目录，然后解压
配置环境变量/etc/profile
在底部添加以下内容
使环境变量生效
备注：后续可通过此命令停止elasticsearch运行
新建kafka的日志目录和zookeeper数据目录，因为这两项默认放在tmp目录，而tmp目录中内容会随重启而丢失,所以我们自定义以下目录:
修改如下：
在data文件夹中新建myid文件，myid文件的内容为1（一句话创建：echo 1 >myid）
kafka启动时先启动zookeeper，再启动kafka；关闭时相反，先关闭kafka，再关闭zookeeper。
1、zookeeper启动命令
后台运行启动命令：
或者
查看集群状态：
2、kafka启动命令
后台运行启动命令：
或者
3、创建topic，最新版本已经不需要使用zookeeper参数创建。
参数解释:
复制两份
--replication-factor 2
创建1个分区
--partitions 1
topic 名称
--topic test
4、查看已经存在的topic（三台设备都执行时可以看到）
5、启动生产者：
6、启动消费者：
添加参数 --from-beginning 从开始位置消费，不是从最新消息
7、测试：在生产者输入test，可以在消费者的两台服务器上看到同样的字符test，说明Kafka服务器集群已搭建成功。
Logstash没有提供集群安装方式，相互之间并没有交互，但是我们可以配置同属一个Kafka消费者组，来实现统一消息只消费一次的功能。
Filebeat用于安装在业务软件运行服务器，收集业务产生的日志，并推送到我们配置的Kafka、Redis、RabbitMQ等消息中间件，或者直接保存到Elasticsearch，下面来讲解如何安装配置：
1、进入到/usr/local目录，执行解压命令
2、编辑配置filebeat.yml
配置文件中默认是输出到elasticsearch，这里我们改为kafka，同文件目录下的filebeat.reference.yml文件是所有配置的实例，可以直接将kafka的配置复制到filebeat.yml
后台启动命令
停止命令
2、测试logstash是消费Kafka的日志主题，并将日志内容存入Elasticsearch
自动新增的两个index，规则是logstash中配置的
数据浏览页可以看到Elasticsearch中存储的日志数据内容，说明我们的配置已经生效。
Gitee: GitEgg: GitEgg 是一款开源免费的企业级微服务应用开发框架，旨在整合目前主流稳定的开源技术框架，集成常用的最佳项目解决方案，实现可直接使用的微服务快速开发框架。
GitHub: https://github.com/wmz1930/GitEgg
欢迎分享，转载请注明来源：夏雨云
微信扫一扫
支付宝扫一扫
评论列表（0条）