log4j.appender.A1.MaxFileSize=1024KB
追加的方式,超过最大值才会新增
代理服务器的应用非常广泛。比如,在企业网内部,它可以用来控制员工在工作时浏览的Internet内容,阻止员工访问某些类型的内容或某些指定的网站。代理服务器实际上扮演着浏览器和Web服务器之间的中间人的角色,能够对浏览器请求进行各种各样的处理,能够过滤广告和Cookie,能够预先提取Web页面,使得浏览器访问页面的速度更快,等等。一、基础知识
不管以哪种方式应用代理服务器,其监控HTTP传输的过程总是如下:
步骤一:内部的浏览器发送请求给代理服务器。请求的第一行包含了目标URL。
步骤二:代理服务器读取该URL,并把请求转发给合适的目标服务器。
步骤三:代理服务器接收来自Internet目标机器的应答,把应答转发给合适的内部浏览器。
例如,假设有一个企业的雇员试图访问www.cn.ibm.com网站。如果没有代理服务器,雇员的浏览器打开的Socket通向运行这个网站的Web服务器,从Web服务器返回的数据也直接传递给雇员的浏览器。如果浏览器被配置成使用代理服务器,则请求首先到达代理服务器;随后,代理服务器从请求的第一行提取目标URL,打开一个通向www.cn.ibm.com的Socket。当www.cn.ibm.com返回应答时,代理服务器把应答转发给雇员的浏览器。
当然,代理服务器并非只适用于企业环境。作为一个开发者,拥有一个自己的代理服务器是一件很不错的事情。例如,我们可以用代理服务器来分析浏览器和Web服务器的交互过程。测试和解决Web应用中存在的问题时,这种功能是很有用的。我们甚至还可以同时使用多个代理服务器(大多数代理服务器允许多个服务器链接在一起使用)。例如,我们可以有一个企业的代理服务器,再加上一个用java编写的代理服务器,用来调试应用程序。但应该注意的是,代理服务器链上的每一个服务器都会对性能产生一定的影响。
二、设计规划
正如其名字所示,代理服务器只不过是一种特殊的服务器。和大多数服务器一样,如果要处理多个请求,代理服务器应该使用线程。下面是一个代理服务器的基本规划:
等待来自客户(Web浏览器)的请求。
启动一个新的线程,以处理客户连接请求。
读取浏览器请求的第一行(该行内容包含了请求的目标URL)。
分析请求的第一行内容,得到目标服务器的名字和端口。
打开一个通向目标服务器(或下一个代理服务器,如合适的话)的Socket。
把请求的第一行发送到输出Socket。
把请求的剩余部分发送到输出Socket。
把目标Web服务器返回的数据发送给发出请求的浏览器。
当然,如果考虑细节的话,情况会更复杂一些。实际上,这里主要有两个问题要考虑:第一,从Socket按行读取数据最适合进一步处理,但这会产生性能瓶颈;第二,两个Socket之间的连接必需高效。有几种方法可以实现这两个目标,但每一种方法都有各自的代价。例如,如果要在数据进入的时候进行过滤,这些数据最好按行读取;然而,大多数时候,当数据到达代理服务器时,立即把它转发出去更适合高效这一要求。另外,数据的发送和接收也可以使用多个独立的线程,但大量地创建和拆除线程也会带来性能问题。因此,对于每一个请求,我们将用一个线程处理数据的接收和发送,同时在数据到达代理服务器时,尽可能快速地把它转发出去。
三、实例
在用java编写这个代理服务器的过程中,注意可重用性是很重要的。因为这样的话,当我们想要在另一个工程中以不同的方式处理浏览器请求时,可以方便地重用该代理服务器。当然,我们必须注意灵活性和效率之间的平衡。
图一显示了本文代理服务器实例(HttpProxy.java)的输出界面,当浏览器访问http://www-900.ibm.com/cn/时,代理服务器向默认日志设备(即标准输出设备屏幕)输出浏览器请求的URL。图二显示了SubHttpProxy的输出。SubHttpProxy是HttpProxy的一个简单扩展。
图一
图二
为了构造代理服务器,我从Thread基类派生出了HttpProxy类(文章正文中出现的代码是该类的一些片断,完整的代码请从本文最后下载)。HttpProxy类包含了一些用来定制代理服务器行为的属性,参见Listing 1和表一。
【Listing 1】
/*************************************
* 一个基础的代理服务器类
*************************************
*/
import java.net.*
import java.io.*
public class HttpProxy extends Thread {
static public int CONNECT_RETRIES=5
static public int CONNECT_PAUSE=5
static public int TIME-OUT=50
static public int BUFSIZ=1024
static public boolean logging = false
static public OutputStream log=null
// 传入数据用的Socket
protected Socket socket
// 上级代理服务器,可选
static private String parent=null
static private int parentPort=-1
static public void setParentProxy(String name, int pport) {
parent=name
parentPort=pport
}
// 在给定Socket上创建一个代理线程。
public HttpProxy(Socket s) { socket=sstart()}
public void writeLog(int c, boolean browser) throws IOException {
log.write(c)
}
public void writeLog(byte[] bytes,int offset,
int len, boolean browser) throws IOException {
for (int i=0i<leni++) writeLog((int)bytes[offset+i],browser)
}
// 默认情况下,日志信息输出到
// 标准输出设备,
// 派生类可以覆盖它
public String processHostName(String url, String host, int port, Socket sock) {
java.text.DateFormat cal=java.text.DateFormat.getDateTimeInstance()
System.out.println(cal.format(new java.util.Date()) + " - " +
url + " " + sock.getInetAddress()+"<BR>")
return host
}
表一
变量/方法 说明
CONNECT_RETRIES 在放弃之前尝试连接远程主机的次数。
CONNECT_PAUSE 在两次连接尝试之间的暂停时间。
TIME-OUT 等待Socket输入的等待时间。
BUFSIZ Socket输入的缓冲大小。
logging 是否要求代理服务器在日志中记录所有已传输的数据(true表示“是”)。
log 一个OutputStream对象,默认日志例程将向该OutputStream对象输出日志信息。
setParentProxy 用来把一个代理服务器链接到另一个代理服务器(需要指定另一个服务器的名称和端口)。
当代理服务器连接到Web服务器之后,我用一个简单的循环在两个Socket之间传递数据。这里可能出现一个问题,即如果没有可操作的数据,调用read方法可能导致程序阻塞,从而挂起程序。为防止出现这个问题,我用setSoTimeout方法设置了Socket的超时时间(参见Listing 2)。这样,如果某个Socket不可用,另一个仍旧有机会进行处理,我不必创建一个新的线程。
【Listing 2】
// 执行操作的线程
public void run() {
String line
String host
int port=80
Socket outbound=null
try {
socket.setSoTimeout(TIMEOUT)
InputStream is=socket.getInputStream()
OutputStream os=null
try {
// 获取请求行的内容
line=""
host=""
int state=0
boolean space
while (true) {
int c=is.read()
if (c==-1) break
if (logging) writeLog(c,true)
space=Character.isWhitespace((char)c)
switch (state) {
case 0:
if (space) continue
state=1
case 1:
if (space) {
state=2
continue
}
line=line+(char)c
break
case 2:
if (space) continue// 跳过多个空白字符
state=3
case 3:
if (space) {
state=4
// 只分析主机名称部分
String host0=host
int n
n=host.indexOf("//")
if (n!=-1) host=host.substring(n+2)
n=host.indexOf('/')
if (n!=-1) host=host.substring(0,n)
// 分析可能存在的端口号
n=host.indexOf(":")
if (n!=-1) {
port=Integer.parseInt(host.substring(n+1))
host=host.substring(0,n)
}
host=processHostName(host0,host,port,socket)
if (parent!=null) {
host=parent
port=parentPort
}
int retry=CONNECT_RETRIES
while (retry--!=0) {
try {
outbound=new Socket(host,port)
break
} catch (Exception e) { }
// 等待
Thread.sleep(CONNECT_PAUSE)
}
if (outbound==null) break
outbound.setSoTimeout(TIMEOUT)
os=outbound.getOutputStream()
os.write(line.getBytes())
os.write(' ')
os.write(host0.getBytes())
os.write(' ')
pipe(is,outbound.getInputStream(),os,socket.getOutputStream())
break
}
host=host+(char)c
break
}
}
}
catch (IOException e) { }
} catch (Exception e) { }
finally {
try { socket.close()} catch (Exception e1) {}
try { outbound.close()} catch (Exception e2) {}
}
}
和所有线程对象一样,HttpProxy类的主要工作在run方法内完成(见Listing 2)。run方法实现了一个简单的状态机,从Web浏览器每次一个读取字符,持续这个过程直至有足够的信息找出目标Web服务器。然后,run打开一个通向该Web服务器的Socket(如果有多个代理服务器被链接在一起,则run方法打开一个通向链里面下一个代理服务器的Socket)。打开Socket之后,run先把部分的请求写入Socket,然后调用pipe方法。pipe方法直接在两个Socket之间以最快的速度执行读写操作。
如果数据规模很大,另外创建一个线程可能具有更高的效率;然而,当数据规模较小时,创建新线程所需要的开销会抵消它带来的好处。
Listing 3显示了一个很简单的main方法,可以用来测试HttpProxy类。大部分的工作由一个静态的startProxy方法完成(见Listing 4)。这个方法用到了一种特殊的技术,允许一个静态成员创建HttpProxy类(或HttpProxy类的子类)的实例。它的基本思想是:把一个Class对象传递给startProxy类;然后,startProxy方法利用映像API(Reflection API)和getDeclaredConstructor方法确定该Class对象的哪一个构造函数接受一个Socket参数;最后,startProxy方法调用newInstance方法创建该Class对象。
【Listing 3】
// 测试用的简单main方法
static public void main(String args[]) {
System.out.println("在端口808启动代理服务器\n")
HttpProxy.log=System.out
HttpProxy.logging=false
HttpProxy.startProxy(808,HttpProxy.class)
}
}
【Listing 4】
static public void startProxy(int port,Class clobj) {
ServerSocket ssock
Socket sock
try {
ssock=new ServerSocket(port)
while (true) {
Class [] sarg = new Class[1]
Object [] arg= new Object[1]
sarg[0]=Socket.class
try {
java.lang.reflect.Constructor cons = clobj.getDeclaredConstructor(sarg)
arg[0]=ssock.accept()
cons.newInstance(arg)// 创建HttpProxy或其派生类的实例
} catch (Exception e) {
Socket esock = (Socket)arg[0]
try { esock.close()} catch (Exception ec) {}
}
}
} catch (IOException e) {
}
}
利用这种技术,我们可以在不创建startProxy方法定制版本的情况下,扩展HttpProxy类。要得到给定类的Class对象,只需在正常的名字后面加上.class(如果有某个对象的一个实例,则代之以调用getClass方法)。由于我们把Class对象传递给了startProxy方法,所以创建HttpProxy的派生类时,就不必再特意去修改startProxy。(下载代码中包含了一个派生得到的简单代理服务器)。
结束语
利用派生类定制或调整代理服务器的行为有两种途径:修改主机的名字,或者捕获所有通过代理服务器的数据。processHostName方法允许代理服务器分析和修改主机名字。如果启用了日志记录,代理服务器为每一个通过服务器的字符调用writeLog方法。如何处理这些信息完全由我们自己决定——可以把它写入日志文件,可以把它输出到控制台,或进行任何其他满足我们要求的处理。writeLog输出中的一个Boolean标记指示出数据是来自浏览器还是Web主机。
和许多工具一样,代理服务器本身并不存在好或者坏的问题,关键在于如何使用它们。代理服务器可能被用于侵犯隐私,但也可以阻隔偷窥者和保护网络。即使代理服务器和浏览器不在同一台机器上,我也乐意把代理服务器看成是一种扩展浏览器功能的途径。例如,在把数据发送给浏览器之前,可以用代理服务器压缩数据;未来的代理服务器甚至还可能把页面从一种语言翻译成另一种语言……可能性永无止境。
这样的问题,我已经回答了很多次,现在很多新手,特别是刚刚进入学生的学生,不知道该从哪里入手,我整理了一些java的知识点,一共分为一个阶段,273个技能点,第一阶段、第二阶段、第三阶段、第四阶段是必须要掌握的,第五阶段和第六阶段就是高薪、高职的保障,就说说想高薪必须得把后面两个阶段的给掌握了,
第一阶段:java基本功修炼
1. 认识计算机硬件
2. 计算机组成原理
3. 计算机软件知识
4. 计算机网络知识
5. 常用网络应用操作
6. 认识计算机病毒
7. 逻辑训练
8. 初识Java
9. 变量和数据类型
10. 选择结构
11. 循环结构for
12. 循环结构do-while
13. 循环结构while
14. 多重循环及程序调试
15. 循环进阶
16. 一维数组及经典应用
17. 二维数组
18. 认识类与对象
19. 方法及方法重载
20. 封装与继承
21. 方法重写与多态
22. 项目实战-汽车租赁系统
23. 抽象类和接口
24. 异常
25. 项目实战-QuickHit
26. Java 中的集合类型
27. List 集合
28. Set 集合
29. HashMap 集合
30. Iterator
31. Collections 算法类及常用方法
32. enum
33. 包装类及装箱拆箱
34. String、StringBuffer 类常用方法操作字符串
35. Date、Calendar
36. Math 类常用方法
37. IO/NIO
38. 字节输入流(InputStream、FileInputStream、BufferedInputStream)
39. 字节输出流(OutputStream、FileOutputStream、BufferedOutputStream)
40. 字符输入流(Reader、InputStreamReader、FileReader BufferedReader)
41. 字节输出流(Writer、OutputStreamWriter、FileWriter、BufferedWriter)
42. 文件复制
43. Serialize、Deserialize
44. 职场晋升力:四象限时间管理与精力管理
45. 多线程(Thread、Runnable)
46. Thread LifeCycle
47. 线程的调度
48. 线程的同步和死锁
49. Thread Pool
50. 职场晋升力:团队合作
51. Socket(TCP、UDP)
52. XML 概念、优势、规范
53. XML 中特殊字符的处理
54. 使用DOM 读取、添加、删除、解析 XML 数据
第二阶段:javaweb开发
55. 搭建和配置MySQL 数据库
56. 数据库增、删、查、改语句
57. 事务
58. 视图
59. 数据库备份与恢复
60. 数据库用户管理
61. 数据库设计
62. 项目实战-银行ATM 存取款机系统
63. 走进 HTML 和CSS
64. 列表表格及表单美化
65. CSS 高级操作
66. Bootstrap
67. CSS 组件
68. JavaScript 面向对象
69. JavaScript 判断、循环
70. JavaScript 闭包
71. JavaScript 语法
72. Bootstrap 综合案例
73. HTML5、CSS3
74. jQuery 基础
75. jQuery 基本操作
76. jQuery 事件与特效
77. jQuery Ajax
78. jQuery 插件
79. 搭建Web 环境初识JSP
80. JSP 九大内置对象
81. JSP 实现数据传递和保存
82. JDBC
83. 单例模式、工厂模式
84. MVC、三层模式
85. Commons-fileupload、CKEditor
86. 分页查询
87. EL 与 JSTL
88. Servlet 与Filter
89. Listener 与MVC
90. Ajax 与 jQuery
91. jQuery 的Ajax 交互扩展
92. 项目实战—使用Ajax 技术改进新闻发布系统
93. 反射
94. Linux 系统的安装
95. 在Linux 中管理目录和文件
96. 在Linux 中管理用户和权限
97. 在Linux 服务器环境下安装软件和部署项目
98. 职场晋升力:职场沟通
第三阶段: 企业级框架开发
99. MyBatis 环境搭建
100. SQL 映射文件
101. 动态SQL
102. MyBatis 框架原理
103. Spring IOC
104. 构造注入、依赖注入、注解
105. Spring 整合MyBatis(SqlSessionTemplate、MapperFactoryBean、事务
处理)
106. Spring 数据源(属性文件、JNDI)、Bean 作用域
107. Spring 框架的运行原理
108. SpringMVC 体系概念
109. SpringMVC 之数据绑定、数据效验、
110. SpringMVC 之视图及视图解析
111. SpringMVC 之文件上传、本地化解析
112. SpringMVC 之静态资源处理、请求拦截器、异常处理
113. Oracle 数据库环境搭建、安装
114. Oracle 数据库 SQL、分页、备份、还原
115. Hibernate 概念、依赖
116. HQL 查询语言
117. Hibernate 中配置关联映射
118. HQL 连接查询与 Hibernate 注解
119. Struts 2 概念、依赖
120. Struts 2 配置
121. OGNL 表达式
122. Struts 2 拦截器
123. SSH 框架整合
124. 使用Maven 构建项目
125. 使用Struts 2 实现Ajax
126. Jsoup 网络爬虫
127. 多线程网络爬虫
128. 反爬及反反爬策略
129. 通用爬虫设计
130. Echart 图表分析
131. IKAnalyzer 分词
132. 企业框架项目实战-代理商管理系统
133. 企业框架项目实战-SL 会员商城
134. 企业框架项目实战-会员管理系统
135.企业框架项目实战-互联网招聘信息采集分析平台
第四阶段: 前后端分离开发
136. GitHub
137. Git 基础(checkout、pull、commit、push、merge 等)
138. Git 进阶(多分支协作)
139. GitLab
140. IDEA 的使用
141. Maven 介绍(概念、仓库、构建、命令)
142. 使用Maven 构建WEB 项目
143. 使用Maven 构建多模块项目
144. 使用Maven 搭建私服仓库
145. Scrum 框架介绍(三个角色、三个工件、四个会议)
146. Scrum Team 组建团队
147. 产品需求和用户故事
148. 每日立会
149. 使用敏捷-Scrum 方式开发管理实战
150. 前后端分离、分布式集群架构、垂直架构
151. SSM(SpringMVC+Spring+MyBatis)整合实战
152. Git、Maven 私服Nexus
153. 第三方接入技术(微信、阿里)
154. MySQL 电商实战
155. Redis(缓存服务)
156. 搜索引擎-Solr
157. 集成API Doc 工具-Swagger
158. 图片自动化处理:Tengine+LUA+GraphicsMagic
159. 手机、邮箱注册
160. 单点登录 Token
161. OAuth2.0 认证
162. Jsoup 网络爬虫(多线程爬虫/代理 IP 爬虫)
163. ExecutorService 线程池
164. IK 中文分词
165. Postman
166. ReactJS
167. webpack
168. 职场晋升力:简历撰写
169. 程序猿面试宝典之项目面试
170.大型互联网旅游电商项目实战-爱旅行
第五阶段: 分布式微服架构开发
171. Spring Boot 环境搭建
172. Spring Boot 常用技能
173. Spring Boot 整合Redis
174. Spring Boot 整合Mybatis
175. 微服务架构及架构设计
176. 消息队列
ActiveMQ\RabbitMQ
177. 分布式事务
178. 分布式锁 Redis-setnx
179. Zookeeper 注册中心
180. 基于 ActiveMQ 实现高并发
181. Docker 环境搭建
182. Docker 镜像加速
183. Docker 容器管理
184. Docker 镜像管理
185. Docker 容器文件备份
186. Dockerfile
187. Docker 私服仓库
188. 真实互联网高并发电商项目实战-双十一抢购
189. 可视化监控 Portainer
190. Docker Compose 容器编排
191. Docker Compose 扩容、缩容
192. Docker Swarm 集群编排
193. Jenkins 安装、插件配置
194. Jenkins 配置普通任务
195. Jenkins 配置管道任务
196. Jenkins 自动发布服务
197. Spring Cloud Eureka
198. Spring Cloud Feign
199. Spring Cloud Ribbon
200. Spring Cloud Zuul
201. Spring Cloud Config
202. Spring Cloud Hystrix
203. Spring Cloud Sleuth
204. Spring Boot Admin
205.Eureka 注册原理探秘
206. Spring Cloud 大坑解读
207. Zipkin
208. Zipkin 整合RabbitMQ
209. Zipkin 整合MySQL
210. ELK 日志收集
211.Kafka
212. Elasticsearch 映射管理
213. Elasticsearch 查询/复合查询
214. Elasticsearch 集群/集群规划
215. Elasticsearch 聚合
216. Elasticsearch 集群监控
217. Elasticsearch 插件
(Head/BigDesk)
218. Mycat 读写分离
219. Mycat 一主多从
220. Mycat 多主多从
221. Mycat 数据分片
222. Redis
223. Redis-Redlock
224. Elasticsearch 环境搭建
225. Elasticsearch 客户端
226. Elasticsearch 索引管理
227. Elasticsearch 文档管理
228. Mycat 集群
229. Jmeter 并发测试
230. Jmeter 生成测试报告
231. 微信登录
232. 微信支付
233. 支付宝支付
234. 百度地图
235. Sonar 本地检测
236. Sonar +Jenkins 线上检测
237. CI/CD
238. Spring Boot 改造爱旅行项目实战
239. 大型互联网票务类电商项目实战-大觅网
240. ES6 概念(les、const)
241. ES6 对象和数组
242. ES6 函数扩展
243. VUE 环境搭建
244. VUE.JS 指令
245.VUE 交互
246. VUE 实例生命周期
247. VUE 组件
248. VUE 项目环境配置及单文件组件
249.VUE 路由
第六阶段:cc服务
250. Spring Cloud Gateway
251. Consul
252. Nacos
253. Eureka、Consu、lNacos、Zookeeper 对比分析
254. Prometheus + Grafana
255. ES 分布式存储原理
256. NoSQL 数据库解决方案(Redis、MongoDB)
257. OAuth2.0 认证( authorization code 模式)
258. OAuth2.0 认证( implicit 模式)
259. OAuth2.0 认证( resource owner password credentials 模式)
260. OAuth2.0 认证( client credentials 模式)
261. NAS/FastDFS 分布式文件存储
262. Python 基础
263. Python 爬虫
264. 大数据及 Hadoop 概述
265. 分布式文件系统 HDFS
266. 分布式计算框架MapReduce
267. 分布式列式数据库 HBase
268. Hadoop 综合应用
269. 面试大局观
270. 职业规划
271. 项目面试
272. 具体业务场景化解决方案
273. 更多技术专题持续增加中
欢迎分享,转载请注明来源:夏雨云
评论列表(0条)