开发Web应用#
在Web开发 一章中,我们已经详细介绍了JavaEE中Web开发的基础:Servlet。具体地说,有以下几点:
Servlet规范定义了几种标准组件:Servlet、JSP、Filter和Listener;
Servlet的标准组件总是运行在Servlet容器中,如Tomcat、Jetty、WebLogic等。
直接使用Servlet进行Web开发好比直接在JDBC上操作数据库,比较繁琐,更好的方法是在Servlet基础上封装MVC框架,基于MVC开发Web应用,大部分时候,不需要接触Servlet API,开发省时省力。
我们在MVC开发 和MVC高级开发 已经由浅入深地介绍了如何编写MVC框架。当然,自己写的MVC主要是理解原理,要实现一个功能全面的MVC需要大量的工作以及广泛的测试。
因此,开发Web应用,首先要选择一个优秀的MVC框架。常用的MVC框架有:
Struts :最古老的一个MVC框架,目前版本是2,和1.x有很大的区别;
WebWork:一个比Struts设计更优秀的MVC框架,但不知道出于什么原因,从2.0开始把自己的代码全部塞给Struts 2了;
Turbine :一个重度使用Velocity,强调布局的MVC框架;
其他100+MVC框架……(略)
Spring虽然都可以集成任何Web框架,但是,Spring本身也开发了一个MVC框架,就叫Spring MVC 。这个MVC框架设计得足够优秀以至于我们已经不想再费劲去集成类似Struts这样的框架了。
本章我们会详细介绍如何基于Spring MVC开发Web应用。
使用Spring MVC#
我们在前面介绍Web开发 时已经讲过了Java Web的基础:Servlet容器,以及标准的Servlet组件:
Servlet:能处理HTTP请求并将HTTP响应返回;
JSP:一种嵌套Java代码的HTML,将被编译为Servlet;
Filter:能过滤指定的URL以实现拦截功能;
Listener:监听指定的事件,如ServletContext、HttpSession的创建和销毁。
此外,Servlet容器为每个Web应用程序自动创建一个唯一的ServletContext
实例,这个实例就代表了Web应用程序本身。
在MVC高级开发 中,我们手撸了一个MVC框架,接口和Spring MVC类似。如果直接使用Spring MVC,我们写出来的代码类似:
1
2
3
4
5
6
7
8
9
10
11
12
13
@Controller
public class UserController {
@GetMapping("/register" )
public ModelAndView register() {
...
}
@PostMapping("/signin" )
public ModelAndView signin(@RequestParam("email" ) String email, @RequestParam("password" ) String password) {
...
}
...
}
copy
但是,Spring提供的是一个IoC容器,所有的Bean,包括Controller,都在Spring IoC容器中被初始化,而Servlet容器由JavaEE服务器提供(如Tomcat),Servlet容器对Spring一无所知,他们之间到底依靠什么进行联系,又是以何种顺序初始化的?
在理解上述问题之前,我们先把基于Spring MVC开发的项目结构搭建起来。首先创建基于Web的Maven工程,引入如下依赖:
org.springframework:spring-context:5.2.0.RELEASE
org.springframework:spring-webmvc:5.2.0.RELEASE
org.springframework:spring-jdbc:5.2.0.RELEASE
javax.annotation:javax.annotation-api:1.3.2
io.pebbletemplates:pebble-spring5:3.1.2
ch.qos.logback:logback-core:1.2.3
ch.qos.logback:logback-classic:1.2.3
com.zaxxer:HikariCP:3.4.2
org.hsqldb:hsqldb:2.5.0
以及provided
依赖:
org.apache.tomcat.embed:tomcat-embed-core:9.0.26
org.apache.tomcat.embed:tomcat-embed-jasper:9.0.26
这个标准的Maven Web工程目录结构如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
spring-web-mvc
├── pom.xml
└── src
└── main
├── java
│ └── com
│ └── itranswarp
│ └── learnjava
│ ├── AppConfig.java
│ ├── DatabaseInitializer.java
│ ├── entity
│ │ └── User.java
│ ├── service
│ │ └── UserService.java
│ └── web
│ └── UserController.java
├── resources
│ ├── jdbc.properties
│ └── logback.xml
└── webapp
├── WEB-INF
│ ├── templates
│ │ ├── _base.html
│ │ ├── index.html
│ │ ├── profile.html
│ │ ├── register.html
│ │ └── signin.html
│ └── web.xml
└── static
├── css
│ └── bootstrap.css
└── js
└── jquery.js
copy
其中,src/main/webapp
是标准web目录,WEB-INF
存放web.xml
,编译的class,第三方jar,以及不允许浏览器直接访问的View模版,static
目录存放所有静态文件。
在src/main/resources
目录中存放的是Java程序读取的classpath资源文件,除了JDBC的配置文件jdbc.properties
外,我们又新增了一个logback.xml
,这是Logback的默认查找的配置文件:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
<?xml version="1.0" encoding="UTF-8" ?>
<configuration>
<appender name="STDOUT"
class =" ch.qos .logback .core .ConsoleAppender ">
<layout class=" ch.qos .logback .classic .PatternLayout ">
<Pattern>%d{yyyy-MM-dd HH:mm:ss} %-5level %logger{36} - %msg%n</Pattern>
</layout>
</appender>
<logger name=" com.itranswarp .learnjava " level=" info" additivity=" false ">
<appender-ref ref=" STDOUT" />
</logger>
<root level=" info">
<appender-ref ref=" STDOUT" />
</root>
</configuration>
copy
上面给出了一个写入到标准输出的Logback配置,可以基于上述配置添加写入到文件的配置。
在src/main/java
中就是我们编写的Java代码了。
配置Spring MVC#
和普通Spring配置一样,我们编写正常的AppConfig
后,只需加上@EnableWebMvc
注解,就“激活”了Spring MVC:
1
2
3
4
5
6
7
8
@Configuration
@ComponentScan
@EnableWebMvc // 启用Spring MVC
@EnableTransactionManagement
@PropertySource("classpath:/jdbc.properties" )
public class AppConfig {
...
}
copy
除了创建DataSource
、JdbcTemplate
、PlatformTransactionManager
外,AppConfig
需要额外创建几个用于Spring MVC的Bean:
1
2
3
4
5
6
7
8
9
@Bean
WebMvcConfigurer createWebMvcConfigurer() {
return new WebMvcConfigurer() {
@Override
public void addResourceHandlers(ResourceHandlerRegistry registry) {
registry.addResourceHandler ("/static/**" ).addResourceLocations ("/static/" );
}
};
}
copy
WebMvcConfigurer
并不是必须的,但我们在这里创建一个默认的WebMvcConfigurer
,只覆写addResourceHandlers()
,目的是让Spring MVC自动处理静态文件,并且映射路径为/static/**
。
另一个必须要创建的Bean是ViewResolver
,因为Spring MVC允许集成任何模板引擎,使用哪个模板引擎,就实例化一个对应的ViewResolver
:
1
2
3
4
5
6
7
8
9
10
11
12
13
@Bean
ViewResolver createViewResolver(@Autowired ServletContext servletContext) {
PebbleEngine engine = new PebbleEngine.Builder ().autoEscaping (true )
.cacheActive (false )
.loader (new ServletLoader(servletContext))
.extension (new SpringExtension())
.build ();
PebbleViewResolver viewResolver = new PebbleViewResolver();
viewResolver.setPrefix ("/WEB-INF/templates/" );
viewResolver.setSuffix ("" );
viewResolver.setPebbleEngine (engine);
return viewResolver;
}
copy
ViewResolver
通过指定prefix和suffix来确定如何查找View。上述配置使用Pebble引擎,指定模板文件存放在/WEB-INF/templates/
目录下。
剩下的Bean都是普通的@Component
,但Controller必须标记为@Controller
,例如:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
// Controller使用@Controller标记而不是@Component:
@Controller
public class UserController {
// 正常使用@Autowired注入:
@Autowired
UserService userService;
// 处理一个URL映射:
@GetMapping("/" )
public ModelAndView index() {
...
}
...
}
copy
如果是普通的Java应用程序,我们通过main()
方法可以很简单地创建一个Spring容器的实例:
1
2
3
public static void main(String[] args) {
ApplicationContext context = new AnnotationConfigApplicationContext(AppConfig.class );
}
copy
但是问题来了,现在是Web应用程序,而Web应用程序总是由Servlet容器创建,那么,Spring容器应该由谁创建?在什么时候创建?Spring容器中的Controller又是如何通过Servlet调用的?
在Web应用中启动Spring容器有很多种方法,可以通过Listener启动,也可以通过Servlet启动,可以使用XML配置,也可以使用注解配置。这里,我们只介绍一种最简单 的启动Spring容器的方式。
第一步,我们在web.xml
中配置Spring MVC提供的DispatcherServlet
:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
<!DOCTYPE web-app PUBLIC
"-//Sun Microsystems, Inc.//DTD Web Application 2.3//EN"
"http://java.sun.com/dtd/web-app_2_3.dtd" >
<web-app>
<servlet>
<servlet-name>dispatcher</servlet-name>
<servlet-class > org.springframework .web .servlet .DispatcherServlet </servlet-class >
< init-param>
<param-name>contextClass</param-name>
<param-value>org.springframework .web .context .support .AnnotationConfigWebApplicationContext </param-value>
</init-param>
<init-param>
<param-name>contextConfigLocation</param-name>
<param-value>com.itranswarp .learnjava .AppConfig </param-value>
</init-param>
<load-on-startup>0</load-on-startup>
</servlet>
<servlet-mapping>
<servlet-name>dispatcher</servlet-name>
<url-pattern>/*</url-pattern>
</servlet-mapping>
</web-app>
copy
初始化参数contextClass
指定使用注解配置的AnnotationConfigWebApplicationContext
,配置文件的位置参数contextConfigLocation
指向AppConfig
的完整类名,最后,把这个Servlet映射到/*
,即处理所有URL。
上述配置可以看作一个样板配置,有了这个配置,Servlet容器会首先初始化Spring MVC的DispatcherServlet
,在DispatcherServlet
启动时,它根据配置AppConfig
创建了一个类型是WebApplicationContext的IoC容器,完成所有Bean的初始化,并将容器绑到ServletContext上。
因为DispatcherServlet
持有IoC容器,能从IoC容器中获取所有@Controller
的Bean,因此,DispatcherServlet
接收到所有HTTP请求后,根据Controller方法配置的路径,就可以正确地把请求转发到指定方法,并根据返回的ModelAndView
决定如何渲染页面。
最后,我们在AppConfig
中通过main()
方法启动嵌入式Tomcat:
1
2
3
4
5
6
7
8
9
10
11
12
public static void main(String[] args) throws Exception {
Tomcat tomcat = new Tomcat();
tomcat.setPort (Integer.getInteger ("port" , 8080));
tomcat.getConnector ();
Context ctx = tomcat.addWebapp ("" , new File("src/main/webapp" ).getAbsolutePath ());
WebResourceRoot resources = new StandardRoot(ctx);
resources.addPreResources (
new DirResourceSet(resources, "/WEB-INF/classes" , new File("target/classes" ).getAbsolutePath (), "/" ));
ctx.setResources (resources);
tomcat.start ();
tomcat.getServer ().await ();
}
copy
上述Web应用程序就是我们使用Spring MVC时的一个最小启动功能集。由于使用了JDBC和数据库,用户的注册、登录信息会被持久化。
编写Controller#
有了Web应用程序的最基本的结构,我们的重点就可以放在如何编写Controller上。Spring MVC对Controller没有固定的要求,也不需要实现特定的接口。以UserController为例,编写Controller只需要遵循以下要点:
总是标记@Controller
而不是@Component
:
1
2
3
4
@Controller
public class UserController {
...
}
copy
一个方法对应一个HTTP请求路径,用@GetMapping
或@PostMapping
表示GET或POST请求:
1
2
3
4
5
6
7
@PostMapping("/signin" )
public ModelAndView doSignin(
@RequestParam("email" ) String email,
@RequestParam("password" ) String password,
HttpSession session) {
...
}
copy
需要接收的HTTP参数以@RequestParam()
标注,可以设置默认值。如果方法参数需要传入HttpServletRequest
、HttpServletResponse
或者HttpSession
,直接添加这个类型的参数即可,Spring MVC会自动按类型传入。
返回的ModelAndView通常包含View的路径和一个Map作为Model,但也可以没有Model,例如:
1
return new ModelAndView("signin.html" ); // 仅View,没有Model
copy
返回重定向时既可以写new ModelAndView("redirect:/signin")
,也可以直接返回String:
1
2
3
4
5
6
7
public String index() {
if (...) {
return "redirect:/signin" ;
} else {
return "redirect:/profile" ;
}
}
copy
如果在方法内部直接操作HttpServletResponse
发送响应,返回null
表示无需进一步处理:
1
2
3
4
5
6
7
8
public ModelAndView download(HttpServletResponse response) {
byte [] data = ...
response.setContentType ("application/octet-stream" );
OutputStream output = response.getOutputStream ();
output.write (data);
output.flush ();
return null ;
}
copy
对URL进行分组,每组对应一个Controller是一种很好的组织形式,并可以在Controller的class定义出添加URL前缀,例如:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
@Controller
@RequestMapping("/user" )
public class UserController {
// 注意实际URL映射是/user/profile
@GetMapping("/profile" )
public ModelAndView profile() {
...
}
// 注意实际URL映射是/user/changePassword
@GetMapping("/changePassword" )
public ModelAndView changePassword() {
...
}
}
copy
实际方法的URL映射总是前缀+路径,这种形式还可以有效避免不小心导致的重复的URL映射。
可见,Spring MVC允许我们编写既简单又灵活的Controller实现。
使用Spring MVC时,整个Web应用程序按如下顺序启动:
启动Tomcat服务器;
Tomcat读取web.xml并初始化DispatcherServlet;
DispatcherServlet创建IoC容器并自动注册到ServletContext中。
启动后,浏览器发出的HTTP请求全部由DispatcherServlet接收,并根据配置转发到指定Controller的指定方法处理。
使用REST#
使用Spring MVC开发Web应用程序的主要工作就是编写Controller逻辑。在Web应用中,除了需要使用MVC给用户显示页面外,还有一类API接口,我们称之为REST,通常输入输出都是JSON,便于第三方调用或者使用页面JavaScript与之交互。
直接在Controller中处理JSON是可以的,因为Spring MVC的@GetMapping
和@PostMapping
都支持指定输入和输出的格式。如果我们想接收JSON,输出JSON,那么可以这样写:
1
2
3
4
5
6
7
@PostMapping(value = "/rest" ,
consumes = "application/json;charset=UTF-8" ,
produces = "application/json;charset=UTF-8" )
@ResponseBody
public String rest(@RequestBody User user) {
return "{\"restSupport\":true}" ;
}
copy
对应的Maven工程需要加入Jackson这个依赖:com.fasterxml.jackson.core:jackson-databind:2.11.0
注意到@PostMapping
使用consumes
声明能接收的类型,使用produces
声明输出的类型,并且额外加了@ResponseBody
表示返回的String
无需额外处理,直接作为输出内容写入HttpServletResponse
。输入的JSON则根据注解@RequestBody
直接被Spring反序列化为User
这个JavaBean。
使用curl命令测试一下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
$ curl -v -H "Content-Type: application/json" -d '{"email":"bob@example.com"}' http://localhost:8080/rest
> POST /rest HTTP/1.1
> Host: localhost:8080
> User-Agent: curl/7.64.1
> Accept: */*
> Content-Type: application/json
> Content-Length: 27
>
< HTTP/1.1 200
< Content-Type: application/json;charset=utf-8
< Content-Length: 20
< Date: Sun, 10 May 2020 09:56:01 GMT
<
{"restSupport":true}
copy
输出正是我们写入的字符串。
直接用Spring的Controller配合一大堆注解写REST太麻烦了,因此,Spring还额外提供了一个@RestController
注解,使用@RestController
替代@Controller
后,每个方法自动变成API接口方法。我们还是以实际代码举例,编写ApiController
如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
@RestController
@RequestMapping("/api" )
public class ApiController {
@Autowired
UserService userService;
@GetMapping("/users" )
public List<User> users() {
return userService.getUsers ();
}
@GetMapping("/users/{id}" )
public User user(@PathVariable("id" ) long id) {
return userService.getUserById (id);
}
@PostMapping("/signin" )
public Map<String, Object> signin(@RequestBody SignInRequest signinRequest) {
try {
User user = userService.signin (signinRequest.email , signinRequest.password );
return Map.of ("user" , user);
} catch (Exception e) {
return Map.of ("error" , "SIGNIN_FAILED" , "message" , e.getMessage ());
}
}
public static class SignInRequest {
public String email;
public String password;
}
}
copy
编写REST接口只需要定义@RestController
,然后,每个方法都是一个API接口,输入和输出只要能被Jackson序列化或反序列化为JSON就没有问题。我们用浏览器测试GET请求,可直接显示JSON响应。
要测试POST请求,可以用curl命令:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
$ curl -v -H "Content-Type: application/json" -d '{"email":"bob@example.com","password":"bob123"}' http://localhost:8080/api/signin
> POST /api/signin HTTP/1.1
> Host: localhost:8080
> User-Agent: curl/7.64.1
> Accept: */*
> Content-Type: application/json
> Content-Length: 47
>
< HTTP/1.1 200
< Content-Type: application/json
< Transfer-Encoding: chunked
< Date: Sun, 10 May 2020 08:14:13 GMT
<
{"user":{"id":1,"email":"bob@example.com","password":"bob123","name":"Bob",...
copy
注意观察上述JSON的输出,User
能被正确地序列化为JSON,但暴露了password
属性,这是我们不期望的。要避免输出password
属性,可以把User
复制到另一个UserBean
对象,该对象只持有必要的属性,但这样做比较繁琐。另一种简单的方法是直接在User
的password
属性定义处加上@JsonIgnore
表示完全忽略该属性:
1
2
3
4
5
6
7
8
9
10
public class User {
...
@JsonIgnore
public String getPassword() {
return password;
}
...
}
copy
但是这样一来,如果写一个register(User user)
方法,那么该方法的User对象也拿不到注册时用户传入的密码了。如果要允许输入password
,但不允许输出password
,即在JSON序列化和反序列化时,允许写属性,禁用读属性,可以更精细地控制如下:
1
2
3
4
5
6
7
8
9
10
public class User {
...
@JsonProperty(access = Access.WRITE_ONLY )
public String getPassword() {
return password;
}
...
}
copy
同样的,可以使用@JsonProperty(access = Access.READ_ONLY)
允许输出,不允许输入。
使用@RestController
可以方便地编写REST服务,Spring默认使用JSON作为输入和输出。
要控制序列化和反序列化,可以使用Jackson提供的@JsonIgnore
和@JsonProperty
注解。
集成Filter#
在Spring MVC中,DispatcherServlet
只需要固定配置到web.xml
中,剩下的工作主要是专注于编写Controller。
但是,在Servlet规范中,我们还可以使用Filter 。如果要在Spring MVC中使用Filter
,应该怎么做?
有的童鞋在上一节的Web应用中可能发现了,如果注册时输入中文会导致乱码,因为Servlet默认按非UTF-8编码读取参数。为了修复这一问题,我们可以简单地使用一个EncodingFilter,在全局范围类给HttpServletRequest
和HttpServletResponse
强制设置为UTF-8编码。
可以自己编写一个EncodingFilter,也可以直接使用Spring MVC自带的一个CharacterEncodingFilter
。配置Filter时,只需在web.xml
中声明即可:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
<web-app>
<filter>
<filter-name>encodingFilter</filter-name>
<filter-class>org.springframework.web.filter.CharacterEncodingFilter</filter-class>
<init-param>
<param-name>encoding</param-name>
<param-value>UTF-8</param-value>
</init-param>
<init-param>
<param-name>forceEncoding</param-name>
<param-value>true</param-value>
</init-param>
</filter>
<filter-mapping>
<filter-name>encodingFilter</filter-name>
<url-pattern>/*</url-pattern>
</filter-mapping>
...
</web-app>
copy
因为这种Filter和我们业务关系不大,注意到CharacterEncodingFilter
其实和Spring的IoC容器没有任何关系,两者均互不知晓对方的存在,因此,配置这种Filter十分简单。
我们再考虑这样一个问题:如果允许用户使用Basic模式进行用户验证,即在HTTP请求中添加头Authorization: Basic email:password
,这个需求如何实现?
编写一个AuthFilter
是最简单的实现方式:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
@Component
public class AuthFilter implements Filter {
@Autowired
UserService userService;
public void doFilter(ServletRequest request, ServletResponse response, FilterChain chain)
throws IOException, ServletException {
HttpServletRequest req = (HttpServletRequest) request;
// 获取Authorization头:
String authHeader = req.getHeader ("Authorization" );
if (authHeader != null && authHeader.startsWith ("Basic " )) {
// 从Header中提取email和password:
String email = prefixFrom(authHeader);
String password = suffixFrom(authHeader);
// 登录:
User user = userService.signin (email, password);
// 放入Session:
req.getSession ().setAttribute (UserController.KEY_USER , user);
}
// 继续处理请求:
chain.doFilter (request, response);
}
}
copy
现在问题来了:在Spring中创建的这个AuthFilter
是一个普通Bean,Servlet容器并不知道,所以它不会起作用。
如果我们直接在web.xml
中声明这个AuthFilter
,注意到AuthFilter
的实例将由Servlet容器而不是Spring容器初始化,因此,@Autowire
根本不生效,用于登录的UserService
成员变量永远是null
。
所以,得通过一种方式,让Servlet容器实例化的Filter,间接引用Spring容器实例化的AuthFilter
。Spring MVC提供了一个DelegatingFilterProxy
,专门来干这个事情:
1
2
3
4
5
6
7
8
9
10
11
12
<web-app>
<filter>
<filter-name>authFilter</filter-name>
<filter-class>org.springframework.web.filter.DelegatingFilterProxy</filter-class>
</filter>
<filter-mapping>
<filter-name>authFilter</filter-name>
<url-pattern>/*</url-pattern>
</filter-mapping>
...
</web-app>
copy
我们来看实现原理:
Servlet容器从web.xml
中读取配置,实例化DelegatingFilterProxy
,注意命名是authFilter
;
Spring容器通过扫描@Component
实例化AuthFilter
。
当DelegatingFilterProxy
生效后,它会自动查找注册在ServletContext
上的Spring容器,再试图从容器中查找名为authFilter
的Bean,也就是我们用@Component
声明的AuthFilter
。
DelegatingFilterProxy
将请求代理给AuthFilter
,核心代码如下:
1
2
3
4
5
6
7
8
9
public class DelegatingFilterProxy implements Filter {
private Filter delegate;
public void doFilter(...) throws ... {
if (delegate == null ) {
delegate = findBeanFromSpringContainer();
}
delegate.doFilter (req, resp, chain);
}
}
copy
这就是一个代理模式 的简单应用。我们画个图表示它们之间的引用关系如下:
1
2
3
4
5
6
7
8
9
10
┌ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ┐ ┌ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─
┌─────────────────────┐ ┌───────────┐ │
│ │DelegatingFilterProxy│─│─│─ ─>│AuthFilter │
└─────────────────────┘ └───────────┘ │
│ ┌─────────────────────┐ │ │ ┌───────────┐
│ DispatcherServlet │─ ─ ─ ─>│Controllers│ │
│ └─────────────────────┘ │ │ └───────────┘
│
│ Servlet Container │ │ Spring Container
─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ┘
copy
如果在web.xml
中配置的Filter名字和Spring容器的Bean的名字不一致,那么需要指定Bean的名字:
1
2
3
4
5
6
7
8
9
<filter>
<filter-name>basicAuthFilter</filter-name>
<filter-class>org.springframework.web.filter.DelegatingFilterProxy</filter-class>
<!-- 指定Bean的名字 -->
<init-param>
<param-name>targetBeanName</param-name>
<param-value>authFilter</param-value>
</init-param>
</filter>
copy
实际应用时,尽量保持名字一致,以减少不必要的配置。
要使用Basic模式的用户认证,我们可以使用curl命令测试。例如,用户登录名是tom@example.com
,口令是tomcat
,那么先构造一个使用URL编码的用户名:口令
的字符串:
1
tom%40example.com:tomcat
copy
对其进行Base64编码,最终构造出的Header如下:
1
Authorization: Basic dG9tJTQwZXhhbXBsZS5jb206dG9tY2F0
copy
使用如下的curl
命令并获得响应如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
$ curl -v -H 'Authorization: Basic dG9tJTQwZXhhbXBsZS5jb206dG9tY2F0' http://localhost:8080/profile
> GET /profile HTTP/1.1
> Host: localhost:8080
> User-Agent: curl/7.64.1
> Accept: */*
> Authorization: Basic dG9tJTQwZXhhbXBsZS5jb206dG9tY2F0
>
< HTTP/1.1 200
< Set-Cookie: JSESSIONID=CE0F4BFC394816F717443397D4FEABBE; Path=/; HttpOnly
< Content-Type: text/html;charset=UTF-8
< Content-Language: en-CN
< Transfer-Encoding: chunked
< Date: Wed, 29 Apr 2020 00:15:50 GMT
<
<!doctype html>
...HTML输出...
copy
上述响应说明AuthFilter
已生效。
注意:Basic认证模式并不安全,本节只用来作为使用Filter的示例。
使用Interceptor#
在Web程序中,注意到使用Filter的时候,Filter由Servlet容器管理,它在Spring MVC的Web应用程序中作用范围如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
│ ▲
▼ │
┌───────┐
│Filter1│
└───────┘
│ ▲
▼ │
┌───────┐
┌ ─ ─ ─│Filter2│─ ─ ─ ─ ─ ─ ─ ─ ┐
└───────┘
│ │ ▲ │
▼ │
│ ┌─────────────────┐ │
│DispatcherServlet│<───┐
│ └─────────────────┘ │ │
│ ┌────────────┐
│ │ │ModelAndView││
│ └────────────┘
│ │ ▲ │
│ ┌───────────┐ │
│ ├───>│Controller1│────┤ │
│ └───────────┘ │
│ │ │ │
│ ┌───────────┐ │
│ └───>│Controller2│────┘ │
└───────────┘
└ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ┘
copy
上图虚线框就是Filter2的拦截范围,Filter组件实际上并不知道后续内部处理是通过Spring MVC提供的DispatcherServlet
还是其他Servlet组件,因为Filter是Servlet规范定义的标准组件,它可以应用在任何基于Servlet的程序中。
如果只基于Spring MVC开发应用程序,还可以使用Spring MVC提供的一种功能类似Filter的拦截器:Interceptor。和Filter相比,Interceptor拦截范围不是后续整个处理流程,而是仅针对Controller拦截:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
│ ▲
▼ │
┌───────┐
│Filter1│
└───────┘
│ ▲
▼ │
┌───────┐
│Filter2│
└───────┘
│ ▲
▼ │
┌─────────────────┐
│DispatcherServlet│<───┐
└─────────────────┘ │
│ ┌ ─ ─ ─ ─ ─ ─ ─ ─ ─ ┼ ─ ─ ─ ┐
│ │
│ │ ┌────────────┐ │
│ │ Render │
│ │ └────────────┘ │
│ ▲
│ │ │ │
│ ┌────────────┐
│ │ │ModelAndView│ │
│ └────────────┘
│ │ ▲ │
│ ┌───────────┐ │
├─┼─>│Controller1│────┤ │
│ └───────────┘ │
│ │ │ │
│ ┌───────────┐ │
└─┼─>│Controller2│────┘ │
└───────────┘
└ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ┘
copy
上图虚线框就是Interceptor的拦截范围,注意到Controller的处理方法一般都类似这样:
1
2
3
4
5
6
7
@Controller
public class Controller1 {
@GetMapping("/path/to/hello")
ModelAndView hello() {
...
}
}
copy
所以,Interceptor的拦截范围其实就是Controller方法,它实际上就相当于基于AOP的方法拦截。因为Interceptor只拦截Controller方法,所以要注意,返回ModelAndView
并渲染后,后续处理就脱离了Interceptor的拦截范围。
使用Interceptor的好处是Interceptor本身是Spring管理的Bean,因此注入任意Bean都非常简单。此外,可以应用多个Interceptor,并通过简单的@Order
指定顺序。我们先写一个LoggerInterceptor
:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
@Order(1)
@Component
public class LoggerInterceptor implements HandlerInterceptor {
final Logger logger = LoggerFactory.getLogger(getClass());
@Override
public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) throws Exception {
logger.info("preHandle {}...", request.getRequestURI());
if (request.getParameter("debug") != null) {
PrintWriter pw = response.getWriter();
pw.write("<p>DEBUG MODE</p>");
pw.flush();
return false;
}
return true;
}
@Override
public void postHandle(HttpServletRequest request, HttpServletResponse response, Object handler, ModelAndView modelAndView) throws Exception {
logger.info("postHandle {}.", request.getRequestURI());
if (modelAndView != null) {
modelAndView.addObject("__time__", LocalDateTime.now());
}
}
@Override
public void afterCompletion(HttpServletRequest request, HttpServletResponse response, Object handler, Exception ex) throws Exception {
logger.info("afterCompletion {}: exception = {}", request.getRequestURI(), ex);
}
}
copy
一个Interceptor必须实现HandlerInterceptor
接口,可以选择实现preHandle()
、postHandle()
和afterCompletion()
方法。preHandle()
是Controller方法调用前执行,postHandle()
是Controller方法正常返回后执行,而afterCompletion()
无论Controller方法是否抛异常都会执行,参数ex
就是Controller方法抛出的异常(未抛出异常是null
)。
在preHandle()
中,也可以直接处理响应,然后返回false
表示无需调用Controller方法继续处理了,通常在认证或者安全检查失败时直接返回错误响应。在postHandle()
中,因为捕获了Controller方法返回的ModelAndView
,所以可以继续往ModelAndView
里添加一些通用数据,很多页面需要的全局数据如Copyright信息等都可以放到这里,无需在每个Controller方法中重复添加。
我们再继续添加一个AuthInterceptor
,用于替代上一节使用AuthFilter
进行Basic认证的功能:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
@Order(2)
@Component
public class AuthInterceptor implements HandlerInterceptor {
final Logger logger = LoggerFactory.getLogger(getClass());
@Autowired
UserService userService;
@Override
public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler)
throws Exception {
logger.info("pre authenticate {}...", request.getRequestURI());
try {
authenticateByHeader(request);
} catch (RuntimeException e) {
logger.warn("login by authorization header failed.", e);
}
return true;
}
private void authenticateByHeader(HttpServletRequest req) {
String authHeader = req.getHeader("Authorization");
if (authHeader != null && authHeader.startsWith("Basic ")) {
logger.info("try authenticate by authorization header...");
String up = new String(Base64.getDecoder().decode(authHeader.substring(6)), StandardCharsets.UTF_8);
int pos = up.indexOf(':');
if (pos > 0) {
String email = URLDecoder.decode(up.substring(0, pos), StandardCharsets.UTF_8);
String password = URLDecoder.decode(up.substring(pos + 1), StandardCharsets.UTF_8);
User user = userService.signin(email, password);
req.getSession().setAttribute(UserController.KEY_USER, user);
logger.info("user {} login by authorization header ok.", email);
}
}
}
}
copy
这个AuthInterceptor
是由Spring容器直接管理的,因此注入UserService
非常方便。
最后,要让拦截器生效,我们在WebMvcConfigurer
中注册所有的Interceptor:
1
2
3
4
5
6
7
8
9
10
11
@ Bean
WebMvcConfigurer createWebMvcConfigurer(@ Autowired HandlerInterceptor[] interceptors) {
return new WebMvcConfigurer() {
public void addInterceptors(InterceptorRegistry registry) {
for (var interceptor : interceptors) {
registry.addInterceptor(interceptor);
}
}
...
};
}
copy
如果拦截器没有生效,请检查是否忘了在WebMvcConfigurer中注册。
处理异常#
在Controller中,Spring MVC还允许定义基于@ExceptionHandler
注解的异常处理方法。我们来看具体的示例代码:
1
2
3
4
5
6
7
8
@Controller
public class UserController {
@ExceptionHandler(RuntimeException.class)
public ModelAndView handleUnknowException(Exception ex) {
return new ModelAndView("500.html", Map.of("error", ex.getClass().getSimpleName(), "message", ex.getMessage()));
}
...
}
copy
异常处理方法没有固定的方法签名,可以传入Exception
、HttpServletRequest
等,返回值可以是void
,也可以是ModelAndView
,上述代码通过@ExceptionHandler(RuntimeException.class)
表示当发生RuntimeException
的时候,就自动调用此方法处理。
注意到我们返回了一个新的ModelAndView
,这样在应用程序内部如果发生了预料之外的异常,可以给用户显示一个出错页面,而不是简单的500 Internal Server Error或404 Not Found。例如B站的错误页。
可以编写多个错误处理方法,每个方法针对特定的异常。例如,处理LoginException
使得页面可以自动跳转到登录页。
使用ExceptionHandler
时,要注意它仅作用于当前的Controller,即ControllerA中定义的一个ExceptionHandler
方法对ControllerB不起作用。如果我们有很多Controller,每个Controller都需要处理一些通用的异常,例如LoginException
,思考一下应该怎么避免重复代码?
Spring MVC提供了Interceptor组件来拦截Controller方法,使用时要注意Interceptor的作用范围。
处理CORS#
在开发REST应用时,很多时候,是通过页面的JavaScript和后端的REST API交互。
在JavaScript与REST交互的时候,有很多安全限制。默认情况下,浏览器按同源策略放行JavaScript调用API,即:
如果A站在域名a.com
页面的JavaScript调用A站自己的API时,没有问题;
如果A站在域名a.com
页面的JavaScript调用B站b.com
的API时,将被浏览器拒绝访问,因为不满足同源策略。
同源要求域名要完全相同(a.com
和www.a.com
不同),协议要相同(http
和https
不同),端口要相同 。
那么,在域名a.com
页面的JavaScript要调用B站b.com
的API时,还有没有办法?
办法是有的,那就是CORS,全称Cross-Origin Resource Sharing,是HTML5规范定义的如何跨域访问资源。如果A站的JavaScript访问B站API的时候,B站能够返回响应头Access-Control-Allow-Origin: http://a.com
,那么,浏览器就允许A站的JavaScript访问B站的API。
注意到跨域访问能否成功,取决于B站是否愿意给A站返回一个正确的Access-Control-Allow-Origin
响应头,所以决定权永远在提供API的服务方手中。
关于CORS的详细信息可以参考MDN文档 ,这里不再详述。
使用Spring的@RestController
开发REST应用时,同样会面对跨域问题。如果我们允许指定的网站通过页面JavaScript访问这些REST API,就必须正确地设置CORS。
有好几种方法设置CORS,我们来一一介绍。
使用@CrossOrigin#
第一种方法是使用@CrossOrigin
注解,可以在@RestController
的class级别或方法级别定义一个@CrossOrigin
,例如:
1
2
3
4
5
6
@CrossOrigin(origins = "http://local.liaoxuefeng.com:8080" )
@RestController
@RequestMapping("/api" )
public class ApiController {
...
}
copy
上述定义在ApiController
处的@CrossOrigin
指定了只允许来自local.liaoxuefeng.com
跨域访问,允许多个域访问需要写成数组形式,例如origins = {"http://a.com", "https://www.b.com"})
。如果要允许任何域访问,写成origins = "*"
即可。
如果有多个REST Controller都需要使用CORS,那么,每个Controller都必须标注@CrossOrigin
注解。
使用CorsRegistry#
第二种方法是在WebMvcConfigurer
中定义一个全局CORS配置,下面是一个示例:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
@Bean
WebMvcConfigurer createWebMvcConfigurer() {
return new WebMvcConfigurer() {
@Override
public void addCorsMappings(CorsRegistry registry) {
registry.addMapping ("/api/**" )
.allowedOrigins ("http://local.liaoxuefeng.com:8080" )
.allowedMethods ("GET" , "POST" )
.maxAge (3600);
// 可以继续添加其他URL规则:
// registry.addMapping("/rest/v2/**")...
}
};
}
copy
这种方式可以创建一个全局CORS配置,如果仔细地设计URL结构,那么可以一目了然地看到各个URL的CORS规则,推荐使用这种方式配置CORS。
使用CorsFilter#
第三种方法是使用Spring提供的CorsFilter
,我们在集成Filter 中详细介绍了将Spring容器内置的Bean暴露为Servlet容器的Filter的方法,由于这种配置方式需要修改web.xml
,也比较繁琐,所以推荐使用第二种方式。
当我们配置好CORS后,可以在浏览器中测试一下规则是否生效。
我们先用http://localhost:8080
在Chrome浏览器中打开首页,然后打开Chrome的开发者工具,切换到Console,输入一个JavaScript语句来跨域访问API:
1
$.getJSON( "http://local.liaoxuefeng.com:8080/api/users", (data) => console.log(JSON.stringify(data)));
copy
上述源站的域是http://localhost:8080
,跨域访问的是http://local.liaoxuefeng.com:8080
,因为配置的CORS不允许localhost
访问,所以不出意外地得到一个错误。
浏览题打印了错误原因就是been blocked by CORS policy
。
我们再用http://local.liaoxuefeng.com:8080
在Chrome浏览器中打开首页,在Console中执行JavaScript访问localhost
:
1
$.getJSON( "http://localhost:8080/api/users", (data) => console.log(JSON.stringify(data)));
copy
因为CORS规则允许来自http://local.liaoxuefeng.com:8080
的访问,因此访问成功,打印出API的返回值。
国际化#
在开发应用程序的时候,经常会遇到支持多语言的需求,这种支持多语言的功能称之为国际化,英文是internationalization,缩写为i18n(因为首字母i和末字母n中间有18个字母)。
还有针对特定地区的本地化功能,英文是localization,缩写为L10n,本地化是指根据地区调整类似姓名、日期的显示等。
也有把上面两者合称为全球化,英文是globalization,缩写为g11n。
在Java中,支持多语言和本地化是通过MessageFormat
配合Locale
实现的:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
import java.text.MessageFormat;
import java.util.Locale;
public class Time {
public static void main(String[] args) {
double price = 123.5 ;
int number = 10;
Object[] arguments = { price, number };
MessageFormat mfUS = new MessageFormat("Pay {0,number,currency} for {1} books." , Locale.US );
System.out .println (mfUS.format (arguments));
MessageFormat mfZH = new MessageFormat("{1}本书一共{0,number,currency}。" , Locale.CHINA );
System.out .println (mfZH.format (arguments));
}
}
copy
对于Web应用程序,要实现国际化功能,主要是渲染View的时候,要把各种语言的资源文件提出来,这样,不同的用户访问同一个页面时,显示的语言就是不同的。
我们来看看在Spring MVC应用程序中如何实现国际化。
获取Locale#
实现国际化的第一步是获取到用户的Locale
。在Web应用程序中,HTTP规范规定了浏览器会在请求中携带Accept-Language
头,用来指示用户浏览器设定的语言顺序,如:
1
Accept-Language: zh-CN,zh;q=0.8,en;q=0.2
copy
上述HTTP请求头表示优先选择简体中文,其次选择中文,最后选择英文。q
表示权重,解析后我们可获得一个根据优先级排序的语言列表,把它转换为Java的Locale
,即获得了用户的Locale
。大多数框架通常只返回权重最高的Locale
。
Spring MVC通过LocaleResolver
来自动从HttpServletRequest
中获取Locale
。有多种LocaleResolver
的实现类,其中最常用的是CookieLocaleResolver
:
1
2
3
4
5
6
7
@ Bean
LocaleResolver createLocaleResolver() {
var clr = new CookieLocaleResolver();
clr.setDefaultLocale(Locale.ENGLISH);
clr.setDefaultTimeZone(TimeZone.getDefault());
return clr;
}
copy
CookieLocaleResolver
从HttpServletRequest
中获取Locale
时,首先根据一个特定的Cookie判断是否指定了Locale
,如果没有,就从HTTP头获取,如果还没有,就返回默认的Locale
。
当用户第一次访问网站时,CookieLocaleResolver
只能从HTTP头获取Locale
,即使用浏览器的默认语言。通常网站也允许用户自己选择语言,此时,CookieLocaleResolver
就会把用户选择的语言存放到Cookie中,下一次访问时,就会返回用户上次选择的语言而不是浏览器默认语言。
提取资源文件#
第二步是把写死在模板中的字符串以资源文件的方式存储在外部。对于多语言,主文件名如果命名为messages
,那么资源文件必须按如下方式命名并放入classpath中:
默认语言,文件名必须为messages.properties
;
简体中文,Locale是zh_CN
,文件名必须为messages_zh_CN.properties
;
日文,Locale是ja_JP
,文件名必须为messages_ja_JP.properties
;
其它更多语言……
每个资源文件都有相同的key,例如,默认语言是英文,文件messages.properties
内容如下:
1
2
3
4
language.select=Language
home=Home
signin=Sign In
copyright=Copyright©{0,number,#}
copy
文件messages_zh_CN.properties
内容如下:
1
2
3
4
language.select=语言
home=首页
signin=登录
copyright=版权所有©{0,number,#}
copy
创建MessageSource#
第三步是创建一个Spring提供的MessageSource
实例,它自动读取所有的.properties
文件,并提供一个统一接口来实现“翻译”:
1
2
// code, arguments, locale:
String text = messageSource.getMessage("signin", null, locale);
copy
其中,signin
是我们在.properties
文件中定义的key,第二个参数是Object[]
数组作为格式化时传入的参数,最后一个参数就是获取的用户Locale
实例。
创建MessageSource
如下:
1
2
3
4
5
6
7
8
9
@ Bean("i18n" )
MessageSource createMessageSource() {
var messageSource = new ResourceBundleMessageSource();
// 指定文件是 UTF-8 编码 :
messageSource.setDefaultEncoding("UTF-8" );
// 指定主文件名 :
messageSource.setBasename("messages" );
return messageSource;
}
copy
注意到ResourceBundleMessageSource
会自动根据主文件名自动把所有相关语言的资源文件都读进来。
再注意到Spring容器会创建不只一个MessageSource
实例,我们自己创建的这个MessageSource
是专门给页面国际化使用的,因此命名为i18n
,不会与其它MessageSource
实例冲突。
实现多语言#
要在View中使用MessageSource
加上Locale
输出多语言,我们通过编写一个MvcInterceptor
,把相关资源注入到ModelAndView
中:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
@Component
public class MvcInterceptor implements HandlerInterceptor {
@Autowired
LocaleResolver localeResolver;
// 注意注入的MessageSource名称是i18n:
@Autowired
@Qualifier("i18n")
MessageSource messageSource;
public void postHandle(HttpServletRequest request, HttpServletResponse response, Object handler, ModelAndView modelAndView) throws Exception {
if (modelAndView != null) {
// 解析用户的Locale:
Locale locale = localeResolver.resolveLocale(request);
// 放入Model:
modelAndView.addObject("__messageSource__", messageSource);
modelAndView.addObject("__locale__", locale);
}
}
}
copy
不要忘了在WebMvcConfigurer
中注册MvcInterceptor
。现在,就可以在View中调用MessageSource.getMessage()
方法来实现多语言:
1
<a href="/signin">{{ __messageSource__.getMessage('signin', null, __locale__) }}</a>
copy
上述这种写法虽然可行,但格式太复杂了。使用View时,要根据每个特定的View引擎定制国际化函数。在Pebble中,我们可以封装一个国际化函数,名称就是下划线_
,改造一下创建ViewResolver
的代码:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
@ Bean
ViewResolver createViewResolver(@ Autowired ServletContext servletContext, @ Autowired @ Qualifier("i18n" ) MessageSource messageSource) {
PebbleEngine engine = new PebbleEngine.Builder()
.autoEscaping(true)
.cacheActive(false)
.loader(new ServletLoader(servletContext))
// 添加扩展 :
.extension(createExtension(messageSource))
.build();
PebbleViewResolver viewResolver = new PebbleViewResolver();
viewResolver.setPrefix("/WEB-INF/templates/" );
viewResolver.setSuffix("" );
viewResolver.setPebbleEngine(engine);
return viewResolver;
}
private Extension createExtension(MessageSource messageSource) {
return new AbstractExtension() {
@ Override
public Map<String, Function> getFunctions() {
return Map.of("_" , new Function() {
public Object execute(Map<String, Object> args, PebbleTemplate self, EvaluationContext context, int lineNumber) {
String key = (String) args.get("0" );
List<Object> arguments = this.extractArguments(args);
Locale locale = (Locale) context.getVariable("__locale__" );
return messageSource.getMessage(key, arguments.toArray(), "???" + key + "???" , locale);
}
private List<Object> extractArguments(Map<String, Object> args) {
int i = 1 ;
List<Object> arguments = new ArrayList<>();
while (args.containsKey(String.valueOf(i))) {
Object param = args.get(String.valueOf(i));
arguments.add(param);
i++;
}
return arguments;
}
public List<String> getArgumentNames() {
return null;
}
});
}
};
}
copy
这样,我们可以把多语言页面改写为:
1
<a href="/signin">{{ _('signin') }}</a>
copy
如果是带参数的多语言,需要把参数传进去:
1
<h5>{{ _('copyright', 2020) }}</h5>
copy
使用其它View引擎时,也应当根据引擎接口实现更方便的语法。
切换Locale#
最后,我们需要允许用户手动切换Locale
,编写一个LocaleController
来实现该功能:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
@Controller
public class LocaleController {
final Logger logger = LoggerFactory.getLogger(getClass());
@Autowired
LocaleResolver localeResolver;
@GetMapping("/locale/{lo}")
public String setLocale(@PathVariable("lo") String lo, HttpServletRequest request, HttpServletResponse response) {
// 根据传入的lo创建Locale实例:
Locale locale = null;
int pos = lo.indexOf('_');
if (pos > 0) {
String lang = lo.substring(0, pos);
String country = lo.substring(pos + 1);
locale = new Locale(lang, country);
} else {
locale = new Locale(lo);
}
// 设定此Locale:
localeResolver.setLocale(request, response, locale);
logger.info("locale is set to {}.", locale);
// 刷新页面:
String referer = request.getHeader("Referer");
return "redirect:" + (referer == null ? "/" : referer);
}
}
copy
在页面设计中,通常在右上角给用户提供一个语言选择列表。
多语言支持需要从HTTP请求中解析用户的Locale,然后针对不同Locale显示不同的语言;
Spring MVC应用程序通过MessageSource
和LocaleResolver
,配合View实现国际化。
异步处理#
在Servlet模型中,每个请求都是由某个线程处理,然后,将响应写入IO流,发送给客户端。从开始处理请求,到写入响应完成,都是在同一个线程中处理的。
实现Servlet容器的时候,只要每处理一个请求,就创建一个新线程处理它,就能保证正确实现了Servlet线程模型。在实际产品中,例如Tomcat,总是通过线程池来处理请求,它仍然符合一个请求从头到尾都由某一个线程处理。
这种线程模型非常重要,因为Spring的JDBC事务是基于ThreadLocal
实现的,如果在处理过程中,一会由线程A处理,一会又由线程B处理,那事务就全乱套了。此外,很多安全认证,也是基于ThreadLocal
实现的,可以保证在处理请求的过程中,各个线程互不影响。
但是,如果一个请求处理的时间较长,例如几秒钟甚至更长,那么,这种基于线程池的同步模型很快就会把所有线程耗尽,导致服务器无法响应新的请求。如果把长时间处理的请求改为异步处理,那么线程池的利用率就会大大提高。Servlet从3.0规范开始添加了异步支持,允许对一个请求进行异步处理。
我们先来看看在Spring MVC中如何实现对请求进行异步处理的逻辑。首先建立一个Web工程,然后编辑web.xml
文件如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
<web-app xmlns="http://xmlns.jcp.org/xml/ns/javaee"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://xmlns.jcp.org/xml/ns/javaee http://xmlns.jcp.org/xml/ns/javaee/web-app_3_1.xsd"
version="3.1" >
<display-name>Archetype Created Web Application</display-name>
<servlet>
<servlet-name>dispatcher</servlet-name>
<servlet-class >org.springframework.web.servlet.DispatcherServlet</servlet-class >
<init-param>
<param-name>contextClass</param-name>
<param-value>org.springframework.web.context.support.AnnotationConfigWebApplicationContext</param-value>
</init-param>
<init-param>
<param-name>contextConfigLocation</param-name>
<param-value>com.itranswarp.learnjava.AppConfig</param-value>
</init-param>
<load -on-startup>0 </load -on-startup>
<async-supported>true</async-supported>
</servlet>
<servlet-mapping>
<servlet-name>dispatcher</servlet-name>
<url-pattern>/*</url-pattern>
</servlet-mapping>
</web-app>
copy
和前面普通的MVC程序相比,这个web.xml
主要有几点不同:
不能再使用<!DOCTYPE ...web-app_2_3.dtd">
的DTD声明,必须用新的支持Servlet 3.1规范的XSD声明,照抄即可;
对DispatcherServlet
的配置多了一个<async-supported>
,默认值是false
,必须明确写成true
,这样Servlet容器才会支持async处理。
下一步就是在Controller中编写async处理逻辑。我们以ApiController
为例,演示如何异步处理请求。
第一种async处理方式是返回一个Callable
,Spring MVC自动把返回的Callable
放入线程池执行,等待结果返回后再写入响应:
1
2
3
4
5
6
7
8
9
10
11
@GetMapping("/users")
public Callable<List<User>> users() {
return () -> {
// 模拟3秒耗时:
try {
Thread.sleep(3000);
} catch (InterruptedException e) {
}
return userService.getUsers();
};
}
copy
第二种async处理方式是返回一个DeferredResult
对象,然后在另一个线程中,设置此对象的值并写入响应:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
@GetMapping("/users/{id}")
public DeferredResult<User> user(@PathVariable("id") long id) {
DeferredResult<User> result = new DeferredResult<>(3000L); // 3秒超时
new Thread(() -> {
// 等待1秒:
try {
Thread.sleep(1000);
} catch (InterruptedException e) {
}
try {
User user = userService.getUserById(id);
// 设置正常结果并由Spring MVC写入Response:
result.setResult(user);
} catch (Exception e) {
// 设置错误结果并由Spring MVC写入Response:
result.setErrorResult(Map.of("error", e.getClass().getSimpleName(), "message", e.getMessage()));
}
}).start();
return result;
}
copy
使用DeferredResult
时,可以设置超时,超时会自动返回超时错误响应。在另一个线程中,可以调用setResult()
写入结果,也可以调用setErrorResult()
写入一个错误结果。
运行程序,当我们访问http://localhost:8080/api/users/1
时,假定用户存在,则浏览器在1秒后返回结果。
访问一个不存在的User ID,则等待1秒后返回错误结果。
使用Filter#
当我们使用async模式处理请求时,原有的Filter也可以工作,但我们必须在web.xml
中添加<async-supported>
并设置为true
。我们用两个Filter:SyncFilter和AsyncFilter分别测试:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
<web-app ...>
...
<filter>
<filter-name>sync-filter</filter-name>
<filter-class>com.itranswarp.learnjava.web.SyncFilter</filter-class>
</filter>
<filter>
<filter-name>async-filter</filter-name>
<filter-class>com.itranswarp.learnjava.web.AsyncFilter</filter-class>
<async-supported>true</async-supported>
</filter>
<filter-mapping>
<filter-name>sync-filter</filter-name>
<url-pattern>/api/version</url-pattern>
</filter-mapping>
<filter-mapping>
<filter-name>async-filter</filter-name>
<url-pattern>/api/*</url-pattern>
</filter-mapping>
...
</web-app>
copy
一个声明为支持<async-supported>
的Filter既可以过滤async处理请求,也可以过滤正常的同步处理请求,而未声明<async-supported>
的Filter无法支持async请求,如果一个普通的Filter遇到async请求时,会直接报错,因此,务必注意普通Filter的<url-pattern>
不要匹配async请求路径。
在logback.xml
配置文件中,我们把输出格式加上[%thread]
,可以输出当前线程的名称:
1
2
3
4
5
6
7
8
9
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
<appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
<layout class="ch.qos.logback.classic.PatternLayout">
<Pattern>%d{yyyy-MM-dd HH:mm:ss} [%thread] %-5level %logger{36} - %msg%n</Pattern>
</layout>
</appender>
...
</configuration>
copy
对于同步请求,例如/api/version
,我们可以看到如下输出:
1
2
3
4
5
2020-05-16 11:22:40 [http-nio-8080-exec-1] INFO c.i.learnjava.web.SyncFilter - start SyncFilter...
2020-05-16 11:22:40 [http-nio-8080-exec-1] INFO c.i.learnjava.web.AsyncFilter - start AsyncFilter...
2020-05-16 11:22:40 [http-nio-8080-exec-1] INFO c.i.learnjava.web.ApiController - get version...
2020-05-16 11:22:40 [http-nio-8080-exec-1] INFO c.i.learnjava.web.AsyncFilter - end AsyncFilter.
2020-05-16 11:22:40 [http-nio-8080-exec-1] INFO c.i.learnjava.web.SyncFilter - end SyncFilter.
copy
可见,每个Filter和ApiController
都是由同一个线程执行。
对于异步请求,例如/api/users
,我们可以看到如下输出:
1
2
3
4
2020-05-16 11:23:49 [http-nio-8080-exec-4] INFO c.i.learnjava.web.AsyncFilter - start AsyncFilter...
2020-05-16 11:23:49 [http-nio-8080-exec-4] INFO c.i.learnjava.web.ApiController - get users...
2020-05-16 11:23:49 [http-nio-8080-exec-4] INFO c.i.learnjava.web.AsyncFilter - end AsyncFilter.
2020-05-16 11:23:52 [MvcAsync1] INFO c.i.learnjava.web.ApiController - return users...
copy
可见,AsyncFilter
和ApiController
是由同一个线程执行的,但是,返回响应的是另一个线程。
对DeferredResult
测试,可以看到如下输出:
1
2
3
2020-05-16 11:25:24 [http-nio-8080-exec-8] INFO c.i.learnjava.web.AsyncFilter - start AsyncFilter...
2020-05-16 11:25:24 [http-nio-8080-exec-8] INFO c.i.learnjava.web.AsyncFilter - end AsyncFilter.
2020-05-16 11:25:25 [Thread-2] INFO c.i.learnjava.web.ApiController - deferred result is set.
copy
同样,返回响应的是另一个线程。
在实际使用时,经常用到的就是DeferredResult
,因为返回DeferredResult
时,可以设置超时、正常结果和错误结果,易于编写比较灵活的逻辑。
使用async异步处理响应时,要时刻牢记,在另一个异步线程中的事务和Controller方法中执行的事务不是同一个事务,在Controller中绑定的ThreadLocal
信息也无法在异步线程中获取。
此外,Servlet 3.0规范添加的异步支持是针对同步模型打了一个“补丁”,虽然可以异步处理请求,但高并发异步请求时,它的处理效率并不高,因为这种异步模型并没有用到真正的“原生”异步。Java标准库提供了封装操作系统的异步IO包java.nio
,是真正的多路复用IO模型,可以用少量线程支持大量并发。使用NIO编程复杂度比同步IO高很多,因此我们很少直接使用NIO。相反,大部分需要高性能异步IO的应用程序会选择Netty 这样的框架,它基于NIO提供了更易于使用的API,方便开发异步应用程序。
在Spring MVC中异步处理请求需要正确配置web.xml
,并返回Callable
或DeferredResult
对象。
使用WebSocket#
WebSocket是一种基于HTTP的长链接技术。传统的HTTP协议是一种请求-响应模型,如果浏览器不发送请求,那么服务器无法主动给浏览器推送数据。如果需要定期给浏览器推送数据,例如股票行情,或者不定期给浏览器推送数据,例如在线聊天,基于HTTP协议实现这类需求,只能依靠浏览器的JavaScript定时轮询,效率很低且实时性不高。
因为HTTP本身是基于TCP连接的,所以,WebSocket在HTTP协议的基础上做了一个简单的升级,即建立TCP连接后,浏览器发送请求时,附带几个头:
1
2
3
4
GET /chat HTTP/1.1
Host: www.example.com
Upgrade: websocket
Connection: Upgrade
copy
就表示客户端希望升级连接,变成长连接的WebSocket,服务器返回升级成功的响应:
1
2
3
HTTP/1.1 101 Switching Protocols
Upgrade: websocket
Connection: Upgrade
copy
收到成功响应后表示WebSocket“握手”成功,这样,代表WebSocket的这个TCP连接将不会被服务器关闭,而是一直保持,服务器可随时向浏览器推送消息,浏览器也可随时向服务器推送消息。双方推送的消息既可以是文本消息,也可以是二进制消息,一般来说,绝大部分应用程序会推送基于JSON的文本消息。
现代浏览器都已经支持WebSocket协议,服务器则需要底层框架支持。Java的Servlet规范从3.1开始支持WebSocket,所以,必须选择支持Servlet 3.1或更高规范的Servlet容器,才能支持WebSocket。最新版本的Tomcat、Jetty等开源服务器均支持WebSocket。
我们以实际代码演示如何在Spring MVC中实现对WebSocket的支持。首先,我们需要在pom.xml
中加入以下依赖:
org.apache.tomcat.embed:tomcat-embed-websocket:9.0.26
org.springframework:spring-websocket:5.2.0.RELEASE
第一项是嵌入式Tomcat支持WebSocket的组件,第二项是Spring封装的支持WebSocket的接口。
接下来,我们需要在AppConfig中加入Spring Web对WebSocket的配置,此处我们需要创建一个WebSocketConfigurer
实例:
1
2
3
4
5
6
7
8
9
10
11
12
@Bean
WebSocketConfigurer createWebSocketConfigurer(
@Autowired ChatHandler chatHandler,
@Autowired ChatHandshakeInterceptor chatInterceptor)
{
return new WebSocketConfigurer() {
public void registerWebSocketHandlers(WebSocketHandlerRegistry registry) {
// 把URL与指定的WebSocketHandler关联,可关联多个:
registry.addHandler(chatHandler, "/chat").addInterceptors(chatInterceptor);
}
};
}
copy
此实例在内部通过WebSocketHandlerRegistry
注册能处理WebSocket的WebSocketHandler
,以及可选的WebSocket拦截器HandshakeInterceptor
。我们注入的这两个类都是自己编写的业务逻辑,后面我们详细讨论如何编写它们,这里只需关注浏览器连接到WebSocket的URL是/chat
。
处理WebSocket连接#
和处理普通HTTP请求不同,没法用一个方法处理一个URL。Spring提供了TextWebSocketHandler
和BinaryWebSocketHandler
分别处理文本消息和二进制消息,这里我们选择文本消息作为聊天室的协议,因此,ChatHandler
需要继承自TextWebSocketHandler
:
1
2
3
4
@ Component
public class ChatHandler extends TextWebSocketHandler {
...
}
copy
当浏览器请求一个WebSocket连接后,如果成功建立连接,Spring会自动调用afterConnectionEstablished()
方法,任何原因导致WebSocket连接中断时,Spring会自动调用afterConnectionClosed
方法,因此,覆写这两个方法即可处理连接成功和结束后的业务逻辑:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
@ Component
public class ChatHandler extends TextWebSocketHandler {
// 保存所有 Client的WebSocket会话实例:
private Map<String, WebSocketSession> clients = new ConcurrentHashMap<>();
@ Override
public void afterConnectionEstablished(WebSocketSession session) throws Exception {
// 新会话根据 ID放入Map:
clients.put(session.getId(), session);
session.getAttributes().put("name" , "Guest1" );
}
@ Override
public void afterConnectionClosed(WebSocketSession session, CloseStatus status) throws Exception {
clients.remove(session.getId());
}
}
copy
每个WebSocket会话以WebSocketSession
表示,且已分配唯一ID。和WebSocket相关的数据,例如用户名称等,均可放入关联的getAttributes()
中。
用实例变量clients
持有当前所有的WebSocketSession
是为了广播,即向所有用户推送同一消息时,可以这么写:
1
2
3
4
5
6
String json = ...
TextMessage message = new TextMessage(json);
for (String id : clients.keySet()) {
WebSocketSession session = clients.get(id);
session.sendMessage(message);
}
copy
我们发送的消息是序列化后的JSON,可以用ChatMessage表示:
1
2
3
4
5
public class ChatMessage {
public long timestamp;
public String name;
public String text;
}
copy
每收到一个用户的消息后,我们就需要广播给所有用户:
1
2
3
4
5
6
7
8
9
10
@ Component
public class ChatHandler extends TextWebSocketHandler {
...
@ Override
protected void handleTextMessage(WebSocketSession session, TextMessage message) throws Exception {
String s = message.getPayload();
String r = ... // 根据输入消息构造待发送消息
broadcastMessage(r); // 推送给所有用户
}
}
copy
如果要推送给指定的几个用户,那就需要在clients
中根据条件查找出某些WebSocketSession
,然后发送消息。
注意到我们在注册WebSocket时还传入了一个ChatHandshakeInterceptor
,这个类实际上可以从HttpSessionHandshakeInterceptor
继承,它的主要作用是在WebSocket建立连接后,把HttpSession的一些属性复制到WebSocketSession,例如,用户的登录信息等:
1
2
3
4
5
6
7
@ Component
public class ChatHandshakeInterceptor extends HttpSessionHandshakeInterceptor {
public ChatHandshakeInterceptor() {
// 指定从 HttpSession复制属性到WebSocketSession:
super(List.of(UserController.KEY_USER));
}
}
copy
这样,在ChatHandler
中,可以从WebSocketSession.getAttributes()
中获取到复制过来的属性。
客户端开发#
在完成了服务器端的开发后,我们还需要在页面编写一点JavaScript逻辑:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
// 创建 WebSocket连接:
var ws = new WebSocket('ws://' + location.host + '/chat' );
// 连接成功时 :
ws.addEventListener('open' , function (event) {
console.log('websocket connected.' );
});
// 收到消息时 :
ws.addEventListener('message' , function (event) {
console.log('message: ' + event.data);
var msgs = JSON.parse(event.data);
// TODO:
});
// 连接关闭时 :
ws.addEventListener('close' , function () {
console.log('websocket closed.' );
});
// 绑定到全局变量 :
window.chatWs = ws;
copy
用户可以在连接成功后任何时候给服务器发送消息:
1
2
var inputText = 'Hello, WebSocket.' ;
window.chatWs.send(JSON.stringify({text: inputText}));
copy
最后,连调浏览器和服务器端,如果一切无误,可以开多个不同的浏览器测试WebSocket的推送和广播。
和上一节我们介绍的异步处理类似,Servlet的线程模型并不适合大规模的长链接。基于NIO的Netty等框架更适合处理WebSocket长链接,我们将在后面介绍。
在Servlet中使用WebSocket需要3.1及以上版本;
通过spring-websocket
可以简化WebSocket的开发。
集成JavaMail#
我们在发送Email 和接收Email 中已经介绍了如何通过JavaMail来收发电子邮件。在Spring中,同样可以集成JavaMail。
因为在服务器端,主要以发送邮件为主,例如在注册成功、登录时、购物付款后通知用户,基本上不会遇到接收用户邮件的情况,所以本节我们只讨论如何在Spring中发送邮件。
在Spring中,发送邮件最终也是需要JavaMail,Spring只对JavaMail做了一点简单的封装,目的是简化代码。为了在Spring中集成JavaMail,我们在pom.xml
中添加以下依赖:
org.springframework:spring-context-support:6.0.0
jakarta.mail:jakarta.mail-api:2.0.1
com.sun.mail:jakarta.mail:2.0.1
以及其他Web相关依赖。
我们希望用户在注册成功后能收到注册邮件,为此,我们先定义一个JavaMailSender
的Bean:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
@Bean
JavaMailSender createJavaMailSender(
// smtp.properties:
@Value("${smtp.host}" ) String host,
@Value("${smtp.port}" ) int port,
@Value("${smtp.auth}" ) String auth,
@Value("${smtp.username}" ) String username,
@Value("${smtp.password}" ) String password,
@Value("${smtp.debug:true}" ) String debug)
{
var mailSender = new JavaMailSenderImpl();
mailSender.setHost (host);
mailSender.setPort (port);
mailSender.setUsername (username);
mailSender.setPassword (password);
Properties props = mailSender.getJavaMailProperties ();
props.put ("mail.transport.protocol" , "smtp" );
props.put ("mail.smtp.auth" , auth);
if (port == 587) {
props.put ("mail.smtp.starttls.enable" , "true" );
}
if (port == 465) {
props.put ("mail.smtp.socketFactory.port" , "465" );
props.put ("mail.smtp.socketFactory.class" , "javax.net.ssl.SSLSocketFactory" );
}
props.put ("mail.debug" , debug);
return mailSender;
}
copy
这个JavaMailSender
接口的实现类是JavaMailSenderImpl
,初始化时,传入的参数与JavaMail是完全一致的。
另外注意到需要注入的属性是从smtp.properties
中读取的,因此,AppConfig
导入的就不止一个.properties
文件,可以导入多个:
1
2
3
4
5
6
7
8
@Configuration
@ComponentScan
@EnableWebMvc
@EnableTransactionManagement
@PropertySource({ "classpath:/jdbc.properties" , "classpath:/smtp.properties" })
public class AppConfig {
...
}
copy
下一步是封装一个MailService
,并定义sendRegistrationMail()
方法:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
@Component
public class MailService {
@Value("${smtp.from}" )
String from;
@Autowired
JavaMailSender mailSender;
public void sendRegistrationMail(User user) {
try {
MimeMessage mimeMessage = mailSender.createMimeMessage ();
MimeMessageHelper helper = new MimeMessageHelper(mimeMessage, "utf-8" );
helper.setFrom (from);
helper.setTo (user.getEmail ());
helper.setSubject ("Welcome to Java course!" );
String html = String.format ("<p>Hi, %s,</p><p>Welcome to Java course!</p><p>Sent at %s</p>" , user.getName (), LocalDateTime.now ());
helper.setText (html, true );
mailSender.send (mimeMessage);
} catch (MessagingException e) {
throw new RuntimeException(e);
}
}
}
copy
观察上述代码,MimeMessage
是JavaMail的邮件对象,而MimeMessageHelper
是Spring提供的用于简化设置MimeMessage的类,比如我们设置HTML邮件就可以直接调用setText(String text, boolean html)
方法,而不必再调用比较繁琐的JavaMail接口方法。
最后一步是调用JavaMailSender.send()
方法把邮件发送出去。
在MVC的某个Controller方法中,当用户注册成功后,我们就启动一个新线程来异步发送邮件:
1
2
3
4
5
6
User user = userService.register (email, password, name);
logger.info ("user registered: {}" , user.getEmail ());
// send registration mail:
new Thread(() -> {
mailService.sendRegistrationMail (user);
}).start ();
copy
因为发送邮件是一种耗时的任务,从几秒到几分钟不等,因此,异步发送是保证页面能快速显示的必要措施。这里我们直接启动了一个新的线程,但实际上还有更优化的方法,我们在下一节讨论。
小结
Spring可以集成JavaMail,通过简单的封装,能简化邮件发送代码。其核心是定义一个JavaMailSender
的Bean,然后调用其send()
方法。
集成JMS#
JMS即Java Message Service,是JavaEE的消息服务接口。JMS主要有两个版本:1.1和2.0。2.0和1.1相比,主要是简化了收发消息的代码。
所谓消息服务,就是两个进程之间,通过消息服务器传递消息:
1
2
3
┌────────┐ ┌──────────────┐ ┌────────┐
│Producer│───▶│Message Server│───▶│Consumer│
└────────┘ └──────────────┘ └────────┘
copy
使用消息服务,而不是直接调用对方的API,它的好处是:
双方各自无需知晓对方的存在,消息可以异步处理,因为消息服务器会在Consumer离线的时候自动缓存消息;
如果Producer发送的消息频率高于Consumer的处理能力,消息可以积压在消息服务器,不至于压垮Consumer;
通过一个消息服务器,可以连接多个Producer和多个Consumer。
因为消息服务在各类应用程序中非常有用,所以JavaEE专门定义了JMS规范。注意到JMS是一组接口定义,如果我们要使用JMS,还需要选择一个具体的JMS产品。常用的JMS服务器有开源的ActiveMQ ,商业服务器如WebLogic、WebSphere等也内置了JMS支持。这里我们选择开源的ActiveMQ作为JMS服务器,因此,在开发JMS之前我们必须首先安装ActiveMQ。
现在问题来了:从官网下载ActiveMQ时,蹦出一个页面,让我们选择ActiveMQ Classic或者ActiveMQ Artemis,这两个是什么关系,又有什么区别?
实际上ActiveMQ Classic原来就叫ActiveMQ,是Apache开发的基于JMS 1.1的消息服务器,目前稳定版本号是5.x,而ActiveMQ Artemis是由RedHat捐赠的HornetQ 服务器代码的基础上开发的,目前稳定版本号是2.x。和ActiveMQ Classic相比,Artemis版的代码与Classic完全不同,并且,它支持JMS 2.0,使用基于Netty的异步IO,大大提升了性能。此外,Artemis不仅提供了JMS接口,它还提供了AMQP接口,STOMP接口和物联网使用的MQTT接口。选择Artemis,相当于一鱼四吃。
所以,我们这里直接选择ActiveMQ Artemis。从官网下载 最新的2.x版本,解压后设置环境变量ARTEMIS_HOME
,指向Artemis根目录,例如C:\Apps\artemis
,然后,把ARTEMIS_HOME/bin
加入PATH环境变量:
Windows下添加%ARTEMIS_HOME%\bin
到Path路径;
Mac和Linux下添加$ARTEMIS_HOME/bin
到PATH路径。
Artemis有个很好的设计,就是它把程序和数据完全分离了。我们解压后的ARTEMIS_HOME
目录是程序目录,要启动一个Artemis服务,还需要创建一个数据目录。我们把数据目录直接设定在项目spring-integration-jms
的jms-data
目录下。执行命令artemis create jms-data
:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
$ pwd
/Users/liaoxuefeng/workspace/spring-integration-jms
$ artemis create jms-data
Creating ActiveMQ Artemis instance at: /Users/liaoxuefeng/workspace/spring-integration-jms/jms-data
--user: is a mandatory property!
Please provide the default username:
admin
--password: is mandatory with this configuration:
Please provide the default password:
********
--allow-anonymous | --require-login: is a mandatory property!
Allow anonymous access?, valid values are Y,N,True,False
N
Auto tuning journal ...
done! Your system can make 0.09 writes per millisecond, your journal-buffer-timeout will be 11392000
You can now start the broker by executing:
"/Users/liaoxuefeng/workspace/spring-integration-jms/jms-data/bin/artemis" run
Or you can run the broker in the background using:
"/Users/liaoxuefeng/workspace/spring-integration-jms/jms-data/bin/artemis-service" start
copy
在创建过程中,会要求输入连接用户和口令,这里我们设定admin
和password
,以及是否允许匿名访问(这里选择N
)。
此数据目录jms-data
不仅包含消息数据、日志,还自动创建了两个启动服务的命令bin/artemis
和bin/artemis-service
,前者在前台启动运行,按Ctrl+C结束,后者会一直在后台运行。
我们把目录切换到jms-data/bin
,直接运行artemis run
即可启动Artemis服务:
1
2
3
4
5
6
7
8
9
10
11
12
13
$ ./artemis run
_ _ _
/ \ ____| |_ ___ __ __(_) _____
/ _ \| _ \ __|/ _ \ \/ | |/ __/
/ ___ \ | \/ |_/ __/ |\/| | |\___ \
/_/ \_\| \__\____|_| |_|_|/___ /
Apache ActiveMQ Artemis 2.13.0
...
2020-06-02 07:50:21,718 INFO [org.apache.activemq.artemis] AMQ241001: HTTP Server started at http://localhost:8161
2020-06-02 07:50:21,718 INFO [org.apache.activemq.artemis] AMQ241002: Artemis Jolokia REST API available at http://localhost:8161/console/jolokia
2020-06-02 07:50:21,719 INFO [org.apache.activemq.artemis] AMQ241004: Artemis Console available at http://localhost:8161/console
copy
启动成功后,Artemis提示可以通过URLhttp://localhost:8161/console
访问管理后台。注意不要关闭命令行窗口 。
注意
如果Artemis启动时显示警告:AMQ222212: Disk Full! … Clients will report blocked.这是因为磁盘空间不够,可以在etc/broker.xml配置中找到并改为99。
在编写JMS代码之前,我们首先得理解JMS的消息模型。JMS把生产消息的一方称为Producer,处理消息的一方称为Consumer。有两种类型的消息通道,一种是Queue:
1
2
3
┌────────┐ ┌────────┐ ┌────────┐
│Producer│───▶│ Queue │───▶│Consumer│
└────────┘ └────────┘ └────────┘
copy
一种是Topic:
1
2
3
4
5
6
7
8
9
┌────────┐
┌─▶│Consumer│
│ └────────┘
┌────────┐ ┌────────┐ │ ┌────────┐
│Producer│───▶│ Topic │─┼─▶│Consumer│
└────────┘ └────────┘ │ └────────┘
│ ┌────────┐
└─▶│Consumer│
└────────┘
copy
它们的区别在于,Queue是一种一对一的通道,如果Consumer离线无法处理消息时,Queue会把消息存起来,等Consumer再次连接的时候发给它。设定了持久化机制的Queue不会丢失消息。如果有多个Consumer接入同一个Queue,那么它们等效于以集群方式处理消息,例如,发送方发送的消息是A,B,C,D,E,F,两个Consumer可能分别收到A,C,E和B,D,F,即每个消息只会交给其中一个Consumer处理。
Topic则是一种一对多通道。一个Producer发出的消息,会被多个Consumer同时收到,即每个Consumer都会收到一份完整的消息流。那么问题来了:如果某个Consumer暂时离线,过一段时间后又上线了,那么在它离线期间产生的消息还能不能收到呢?
这取决于消息服务器对Topic类型消息的持久化机制。如果消息服务器不存储Topic消息,那么离线的Consumer会丢失部分离线时期的消息,如果消息服务器存储了Topic消息,那么离线的Consumer可以收到自上次离线时刻开始后产生的所有消息。JMS规范通过Consumer指定一个持久化订阅可以在上线后收取所有离线期间的消息,如果指定的是非持久化订阅,那么离线期间的消息会全部丢失。
细心的童鞋可以看出来,如果一个Topic的消息全部都持久化了,并且只有一个Consumer,那么它和Queue其实是一样的。实际上,很多消息服务器内部都只有Topic类型的消息架构,Queue可以通过Topic“模拟”出来。
无论是Queue还是Topic,对Producer没有什么要求。多个Producer也可以写入同一个Queue或者Topic,此时消息服务器内部会自动排序确保消息总是有序的。
以上是消息服务的基本模型。具体到某个消息服务器时,Producer和Consumer通常是通过TCP连接消息服务器,在编写JMS程序时,又会遇到ConnectionFactory
、Connection
、Session
等概念,其实这和JDBC连接是类似的:
ConnectionFactory:代表一个到消息服务器的连接池,类似JDBC的DataSource;
Connection:代表一个到消息服务器的连接,类似JDBC的Connection;
Session:代表一个经过认证后的连接会话;
Message:代表一个消息对象。
在JMS 1.1中,发送消息的典型代码如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
try {
Connection connection = null ;
try {
// 创建连接:
connection = connectionFactory.createConnection ();
// 创建会话:
Session session = connection.createSession (false ,Session.AUTO_ACKNOWLEDGE );
// 创建一个Producer并关联到某个Queue:
MessageProducer messageProducer = session.createProducer (queue);
// 创建一个文本消息:
TextMessage textMessage = session.createTextMessage (text);
// 发送消息:
messageProducer.send (textMessage);
} finally {
// 关闭连接:
if (connection != null ) {
connection.close ();
}
}
} catch (JMSException ex) {
// 处理JMS异常
}
copy
JMS 2.0改进了一些API接口,发送消息变得更简单:
1
2
3
try (JMSContext context = connectionFactory.createContext ()) {
context.createProducer ().send (queue, text);
}
copy
JMSContext
实现了AutoCloseable
接口,可以使用try(resource)
语法,代码更简单。
有了以上预备知识,我们就可以开始开发JMS应用了。
首先,我们在pom.xml
中添加如下依赖:
org.springframework:spring-jms:6.0.0
org.apache.activemq:artemis-jakarta-client:2.27.0
Artemis的Client接口依赖了jakarta.jms:jakarta.jms-api
,因此不必再引入JMS API的依赖。
在AppConfig中,通过@EnableJms
让Spring自动扫描JMS相关的Bean,并加载JMS配置文件jms.properties
:
1
2
3
4
5
6
7
8
9
@Configuration
@ComponentScan
@EnableWebMvc
@EnableJms // 启用JMS
@EnableTransactionManagement
@PropertySource({ "classpath:/jdbc.properties" , "classpath:/jms.properties" })
public class AppConfig {
...
}
copy
首先要创建的Bean是ConnectionFactory
,即连接消息服务器的连接池:
1
2
3
4
5
6
7
8
@Bean
ConnectionFactory createJMSConnectionFactory(
@Value("${jms.uri:tcp://localhost:61616}" ) String uri,
@Value("${jms.username:admin}" ) String username,
@Value("${jms.password:password}" ) String password)
{
return new ActiveMQJMSConnectionFactory(uri, username, password);
}
copy
因为我们使用的消息服务器是ActiveMQ Artemis,所以ConnectionFactory
的实现类就是消息服务器提供的ActiveMQJMSConnectionFactory
,它需要的参数均由配置文件读取后传入,并设置了默认值。
我们再创建一个JmsTemplate
,它是Spring提供的一个工具类,和JdbcTemplate
类似,可以简化发送消息的代码:
1
2
3
4
@Bean
JmsTemplate createJmsTemplate(@Autowired ConnectionFactory connectionFactory) {
return new JmsTemplate(connectionFactory);
}
copy
下一步要创建的是JmsListenerContainerFactory
,
1
2
3
4
5
6
@Bean("jmsListenerContainerFactory" )
DefaultJmsListenerContainerFactory createJmsListenerContainerFactory(@Autowired ConnectionFactory connectionFactory) {
var factory = new DefaultJmsListenerContainerFactory();
factory.setConnectionFactory (connectionFactory);
return factory;
}
copy
除了必须指定Bean的名称为jmsListenerContainerFactory
外,这个Bean的作用是处理和Consumer相关的Bean。我们先跳过它的原理,继续编写MessagingService
来发送消息:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
@Component
public class MessagingService {
@Autowired ObjectMapper objectMapper;
@Autowired JmsTemplate jmsTemplate;
public void sendMailMessage(MailMessage msg) throws Exception {
String text = objectMapper.writeValueAsString (msg);
jmsTemplate.send ("jms/queue/mail" , new MessageCreator() {
public Message createMessage(Session session) throws JMSException {
return session.createTextMessage (text);
}
});
}
}
copy
JMS的消息类型支持以下几种:
TextMessage:文本消息;
BytesMessage:二进制消息;
MapMessage:包含多个Key-Value对的消息;
ObjectMessage:直接序列化Java对象的消息;
StreamMessage:一个包含基本类型序列的消息。
最常用的是发送基于JSON的文本消息,上述代码通过JmsTemplate
创建一个TextMessage
并发送到名称为jms/queue/mail
的Queue。
注意:Artemis消息服务器默认配置下会自动创建Queue,因此不必手动创建一个名为jms/queue/mail
的Queue,但不是所有的消息服务器都会自动创建Queue,生产环境的消息服务器通常会关闭自动创建功能,需要手动创建Queue。
再注意到MailMessage
是我们自己定义的一个JavaBean,真正的JMS消息是创建的TextMessage
,它的内容是JSON。
当用户注册成功后,我们就调用MessagingService.sendMailMessage()
发送一条JMS消息,此代码十分简单,这里不再贴出。
下面我们要详细讨论的是如何处理消息,即编写Consumer。从理论上讲,可以创建另一个Java进程来处理消息,但对于我们这个简单的Web程序来说没有必要,直接在同一个Web应用中接收并处理消息即可。
处理消息的核心代码是编写一个Bean,并在处理方法上标注@JmsListener
:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
@Component
public class MailMessageListener {
final Logger logger = LoggerFactory.getLogger (getClass());
@Autowired ObjectMapper objectMapper;
@Autowired MailService mailService;
@JmsListener(destination = "jms/queue/mail" , concurrency = "10" )
public void onMailMessageReceived(Message message) throws Exception {
logger.info ("received message: " + message);
if (message instanceof TextMessage) {
String text = ((TextMessage) message).getText ();
MailMessage mm = objectMapper.readValue (text, MailMessage.class );
mailService.sendRegistrationMail (mm);
} else {
logger.error ("unable to process non-text message!" );
}
}
}
copy
注意到@JmsListener
指定了Queue的名称,因此,凡是发到此Queue的消息都会被这个onMailMessageReceived()
方法处理,方法参数是JMS的Message
接口,我们通过强制转型为TextMessage
并提取JSON,反序列化后获得自定义的JavaBean,也就获得了发送邮件所需的所有信息。
下面问题来了:Spring处理JMS消息的流程是什么?
如果我们直接调用JMS的API来处理消息,那么编写的代码大致如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
// 创建JMS连接:
Connection connection = connectionFactory.createConnection ();
// 创建会话:
Session session = connection.createSession (false , Session.AUTO_ACKNOWLEDGE );
// 创建一个Consumer:
MessageConsumer consumer = session.createConsumer (queue);
// 为Consumer指定一个消息处理器:
consumer.setMessageListener (new MessageListener() {
public void onMessage(Message message) {
// 在此处理消息...
}
});
// 启动接收消息的循环:
connection.start ();
copy
我们自己编写的MailMessageListener.onMailMessageReceived()
相当于消息处理器:
1
2
3
4
5
consumer.setMessageListener (new MessageListener() {
public void onMessage(Message message) {
mailMessageListener.onMailMessageReceived (message);
}
});
copy
所以,Spring根据AppConfig
的注解@EnableJms
自动扫描带有@JmsListener
的Bean方法,并为其创建一个MessageListener
把它包装起来。
注意到前面我们还创建了一个JmsListenerContainerFactory
的Bean,它的作用就是为每个MessageListener
创建MessageConsumer
并启动消息接收循环。
再注意到@JmsListener
还有一个concurrency
参数,10表示可以最多同时并发处理10个消息,5-10
表示并发处理的线程可以在5~10之间调整。
因此,Spring在通过MessageListener
接收到消息后,并不是直接调用mailMessageListener.onMailMessageReceived()
,而是用线程池调用,因此,要时刻牢记,onMailMessageReceived()
方法可能被多线程并发执行,一定要保证线程安全。
我们总结一下Spring接收消息的步骤:
通过JmsListenerContainerFactory
配合@EnableJms
扫描所有@JmsListener
方法,自动创建MessageConsumer
、MessageListener
以及线程池,启动消息循环接收处理消息,最终由我们自己编写的@JmsListener
方法处理消息,可能会由多线程同时并发处理。
要验证消息发送和处理,我们注册一个新用户,可以看到如下日志输出:
1
2
3
4
2020-06-02 08:04:27 INFO c.i .learnjava .web .UserController - user registered: bob@example.com
2020-06-02 08:04:27 INFO c.i .l .service .MailMessageListener - received message: ActiveMQMessage[ID:9fc5...]:PERSISTENT/ClientMessageImpl[messageID=983, durable=true , address=jms/queue/mail, ...]]
2020-06-02 08:04:27 INFO c.i .learnjava .service .MailService - [send mail] sending registration mail to bob@example.com...
2020-06-02 08:04:30 INFO c.i .learnjava .service .MailService - [send mail] registration mail was sent to bob@example.com.
copy
可见,消息被成功发送到Artemis,然后在很短的时间内被接收处理了。
使用消息服务对发送Email进行改造的好处是,发送Email的能力通常是有限的,通过JMS消息服务,如果短时间内需要给大量用户发送Email,可以先把消息堆积在JMS服务器上慢慢发送,对于批量发送邮件、短信等尤其有用。
小结
JMS是Java消息服务,可以通过JMS服务器实现消息的异步处理。
消息服务主要解决Producer和Consumer生产和处理速度不匹配的问题。
使用Scheduler#
在很多应用程序中,经常需要执行定时任务。例如,每天或每月给用户发送账户汇总报表,定期检查并发送系统状态报告,等等。
定时任务我们在使用线程池 一节中已经讲到了,Java标准库本身就提供了定时执行任务的功能。在Spring中,使用定时任务更简单,不需要手写线程池相关代码,只需要两个注解即可。
我们还是以实际代码为例,建立工程spring-integration-schedule
,无需额外的依赖,我们可以直接在AppConfig
中加上@EnableScheduling
就开启了定时任务的支持:
1
2
3
4
5
6
7
8
9
@Configuration
@ComponentScan
@EnableWebMvc
@EnableScheduling
@EnableTransactionManagement
@PropertySource({ "classpath:/jdbc.properties" , "classpath:/task.properties" })
public class AppConfig {
...
}
copy
接下来,我们可以直接在一个Bean中编写一个public void
无参数方法,然后加上@Scheduled
注解:
1
2
3
4
5
6
7
8
9
@Component
public class TaskService {
final Logger logger = LoggerFactory.getLogger (getClass());
@Scheduled(initialDelay = 60_000, fixedRate = 60_000)
public void checkSystemStatusEveryMinute() {
logger.info ("Start check system status..." );
}
}
copy
上述注解指定了启动延迟60秒,并以60秒的间隔执行任务。现在,我们直接运行应用程序,就可以在控制台看到定时任务打印的日志:
1
2
3
2020-06-03 18:47:32 INFO [pool-1-thread-1] c.i.learnjava.service.TaskService - Start check system status...
2020-06-03 18:48:32 INFO [pool-1-thread-1] c.i.learnjava.service.TaskService - Start check system status...
2020-06-03 18:49:32 INFO [pool-1-thread-1] c.i.learnjava.service.TaskService - Start check system status...
copy
如果没有看到定时任务的日志,需要检查:
是否忘记了在AppConfig
中标注@EnableScheduling
;
是否忘记了在定时任务的方法所在的class标注@Component
。
除了可以使用fixedRate
外,还可以使用fixedDelay
,两者的区别我们已经在使用线程池一节中讲过,这里不再重复。
有的童鞋在实际开发中会遇到一个问题,因为Java的注解全部是常量,写死了fixedDelay=30000
,如果根据实际情况要改成60秒怎么办,只能重新编译?
我们可以把定时任务的配置放到配置文件中,例如task.properties
:
1
task.checkDiskSpace=30000
copy
这样就可以随时修改配置文件而无需动代码。但是在代码中,我们需要用fixedDelayString
取代fixedDelay
:
1
2
3
4
5
6
7
8
9
@Component
public class TaskService {
...
@Scheduled(initialDelay = 30_000, fixedDelayString = "${task.checkDiskSpace:30000}" )
public void checkDiskSpaceEveryMinute() {
logger.info ("Start check disk space..." );
}
}
copy
注意到上述代码的注解参数fixedDelayString
是一个属性占位符,并配有默认值30000,Spring在处理@Scheduled
注解时,如果遇到String
,会根据占位符自动用配置项替换,这样就可以灵活地修改定时任务的配置。
此外,fixedDelayString
还可以使用更易读的Duration
,例如:
1
@Scheduled(initialDelay = 30_000, fixedDelayString = "${task.checkDiskSpace:PT2M30S}" )
copy
以字符串PT2M30S
表示的Duration
就是2分30秒,请参考LocalDateTime 一节的Duration相关部分。
多个@Scheduled
方法完全可以放到一个Bean中,这样便于统一管理各类定时任务。
使用Cron任务#
还有一类定时任务,它不是简单的重复执行,而是按时间触发,我们把这类任务称为Cron任务,例如:
每天凌晨2:15执行报表任务;
每个工作日12:00执行特定任务;
……
Cron源自Unix/Linux系统自带的crond守护进程,以一个简洁的表达式定义任务触发时间。在Spring中,也可以使用Cron表达式来执行Cron任务,在Spring中,它的格式是:
年是可以忽略的,通常不写。每天凌晨2:15执行的Cron表达式就是:
每个工作日12:00执行的Cron表达式就是:
1
0 0 12 * * MON-FRI
copy
每个月1号,2号,3号和10号12:00执行的Cron表达式就是:
在Spring中,我们定义一个每天凌晨2:15执行的任务:
1
2
3
4
5
6
7
8
9
@Component
public class TaskService {
...
@Scheduled(cron = "${task.report:0 15 2 * * *}" )
public void cronDailyReport() {
logger.info ("Start daily report task..." );
}
}
copy
Cron任务同样可以使用属性占位符,这样修改起来更加方便。
Cron表达式还可以表达每10分钟执行,例如:
这样,在每个小时的0:00,10:00,20:00,30:00,40:00,50:00均会执行任务,实际上它可以取代fixedRate
类型的定时任务。
集成Quartz#
在Spring中使用定时任务和Cron任务都十分简单,但是要注意到,这些任务的调度都是在每个JVM进程中的。如果在本机启动两个进程,或者在多台机器上启动应用,这些进程的定时任务和Cron任务都是独立运行的,互不影响。
如果一些定时任务要以集群的方式运行,例如每天23:00执行检查任务,只需要集群中的一台运行即可,这个时候,可以考虑使用Quartz 。
Quartz可以配置一个JDBC数据源,以便存储所有的任务调度计划以及任务执行状态。也可以使用内存来调度任务,但这样配置就和使用Spring的调度没啥区别了,额外集成Quartz的意义就不大。
Quartz的JDBC配置比较复杂,Spring对其也有一定的支持。要详细了解Quartz的集成,请参考Spring的文档 。
思考:如果不使用Quartz的JDBC配置,多个Spring应用同时运行时,如何保证某个任务只在某一台机器执行?
小结
Spring内置定时任务和Cron任务的支持,编写调度任务十分方便。
集成JMX#
在Spring中,可以方便地集成JMX。
那么第一个问题来了:什么是JMX?
JMX是Java Management Extensions,它是一个Java平台的管理和监控接口。为什么要搞JMX呢?因为在所有的应用程序中,对运行中的程序进行监控都是非常重要的,Java应用程序也不例外。我们肯定希望知道Java应用程序当前的状态,例如,占用了多少内存,分配了多少内存,当前有多少活动线程,有多少休眠线程等等。如何获取这些信息呢?
为了标准化管理和监控,Java平台使用JMX作为管理和监控的标准接口,任何程序,只要按JMX规范访问这个接口,就可以获取所有管理与监控信息。
实际上,常用的运维监控如Zabbix、Nagios等工具对JVM本身的监控都是通过JMX获取的信息。
因为JMX是一个标准接口,不但可以用于管理JVM,还可以管理应用程序自身。下图是JMX的架构:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
┌─────────┐ ┌─────────┐
│jconsole │ │ Web │
└─────────┘ └─────────┘
│ │
┌ ─ ─ ─ ─│─ ─ ─ ─ ─ ─ ┼ ─ ─ ─ ─
JVM ▼ ▼ │
│ ┌─────────┐ ┌─────────┐
┌─┤Connector├──┤ Adaptor ├─┐ │
│ │ └─────────┘ └─────────┘ │
│ MBeanServer │ │
│ │ ┌──────┐┌──────┐┌──────┐ │
└─┤MBean1├┤MBean2├┤MBean3├─┘ │
│ └──────┘└──────┘└──────┘
─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ┘
copy
JMX把所有被管理的资源都称为MBean(Managed Bean),这些MBean全部由MBeanServer管理,如果要访问MBean,可以通过MBeanServer对外提供的访问接口,例如通过RMI或HTTP访问。
注意到使用JMX不需要安装任何额外组件,也不需要第三方库,因为MBeanServer已经内置在JavaSE标准库中了。JavaSE还提供了一个jconsole
程序,用于通过RMI连接到MBeanServer,这样就可以管理整个Java进程。
除了JVM会把自身的各种资源以MBean注册到JMX中,我们自己的配置、监控信息也可以作为MBean注册到JMX,这样,管理程序就可以直接控制我们暴露的MBean。因此,应用程序使用JMX,只需要两步:
编写MBean提供管理接口和监控数据;
注册MBean。
在Spring应用程序中,使用JMX只需要一步:
编写MBean提供管理接口和监控数据。
第二步注册的过程由Spring自动完成。我们以实际工程为例,首先在AppConfig
中加上@EnableMBeanExport
注解,告诉Spring自动注册MBean:
1
2
3
4
5
6
7
8
9
@Configuration
@ComponentScan
@EnableWebMvc
@EnableMBeanExport // 自动注册MBean
@EnableTransactionManagement
@PropertySource({ "classpath:/jdbc.properties" })
public class AppConfig {
...
}
copy
剩下的全部工作就是编写MBean。我们以实际问题为例,假设我们希望给应用程序添加一个IP黑名单功能,凡是在黑名单中的IP禁止访问,传统的做法是定义一个配置文件,启动的时候读取:
1
2
3
4
5
# blacklist.txt
1.2.3.4
5.6.7.8
2.2.3.4
...
copy
如果要修改黑名单怎么办?修改配置文件,然后重启应用程序。
但是每次都重启应用程序实在是太麻烦了,能不能不重启应用程序?可以自己写一个定时读取配置文件的功能,检测到文件改动时自动重新读取。
上述需求本质上是在应用程序运行期间对参数、配置等进行热更新并要求尽快生效。如果以JMX的方式实现,我们不必自己编写自动重新读取等任何代码,只需要提供一个符合JMX标准的MBean来存储配置即可。
还是以IP黑名单为例,JMX的MBean通常以MBean结尾,因此我们遵循标准命名规范,首先编写一个BlacklistMBean
:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
public class BlacklistMBean {
private Set<String> ips = new HashSet<>();
public String[] getBlacklist() {
return ips.toArray (String[]::new );
}
public void addBlacklist(String ip) {
ips.add (ip);
}
public void removeBlacklist(String ip) {
ips.remove (ip);
}
public boolean shouldBlock(String ip) {
return ips.contains (ip);
}
}
copy
这个MBean没什么特殊的,它的逻辑和普通Java类没有任何区别。
下一步,我们要使用JMX的客户端来实时热更新这个MBean,所以要给它加上一些注解,让Spring能根据注解自动把相关方法注册到MBeanServer中:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
@Component
@ManagedResource(objectName = "sample:name=blacklist" , description = "Blacklist of IP addresses" )
public class BlacklistMBean {
private Set<String> ips = new HashSet<>();
@ManagedAttribute(description = "Get IP addresses in blacklist" )
public String[] getBlacklist() {
return ips.toArray (String[]::new );
}
@ManagedOperation
@ManagedOperationParameter(name = "ip" , description = "Target IP address that will be added to blacklist" )
public void addBlacklist(String ip) {
ips.add (ip);
}
@ManagedOperation
@ManagedOperationParameter(name = "ip" , description = "Target IP address that will be removed from blacklist" )
public void removeBlacklist(String ip) {
ips.remove (ip);
}
public boolean shouldBlock(String ip) {
return ips.contains (ip);
}
}
copy
观察上述代码,BlacklistMBean
首先是一个标准的Spring管理的Bean,其次,添加了@ManagedResource
表示这是一个MBean,将要被注册到JMX。objectName指定了这个MBean的名字,通常以company:name=Xxx
来分类MBean。
对于属性,使用@ManagedAttribute
注解标注。上述MBean只有get属性,没有set属性,说明这是一个只读属性。
对于操作,使用@ManagedOperation
注解标准。上述MBean定义了两个操作:addBlacklist()
和removeBlacklist()
,其他方法如shouldBlock()
不会被暴露给JMX。
使用MBean和普通Bean是完全一样的。例如,我们在BlacklistInterceptor
对IP进行黑名单拦截:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
@Order(1)
@Component
public class BlacklistInterceptor implements HandlerInterceptor {
final Logger logger = LoggerFactory.getLogger (getClass());
@Autowired
BlacklistMBean blacklistMBean;
@Override
public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler)
throws Exception {
String ip = request.getRemoteAddr ();
logger.info ("check ip address {}..." , ip);
// 是否在黑名单中:
if (blacklistMBean.shouldBlock (ip)) {
logger.warn ("will block ip {} for it is in blacklist." , ip);
// 发送403错误响应:
response.sendError (403);
return false ;
}
return true ;
}
}
copy
下一步就是正常启动Web应用程序,不要关闭它,我们打开另一个命令行窗口,输入jconsole
启动JavaSE自带的一个JMX客户端程序:
通过jconsole连接到一个Java进程最简单的方法是直接在Local Process中找到正在运行的AppConfig
,点击Connect即可连接到我们当前正在运行的Web应用,在jconsole中可直接看到内存、CPU等资源的监控。
我们点击MBean,左侧按分类列出所有MBean,可以在java.lang
查看内存等信息:
细心的童鞋可以看到HikariCP连接池也是通过JMX监控的。
在sample
中可以看到我们自己的MBean,点击可查看属性blacklist
:
点击Operations
-addBlacklist
,可以填入127.0.0.1
并点击addBlacklist
按钮,相当于jconsole通过JMX接口,调用了我们自己的BlacklistMBean
的addBlacklist()
方法,传入的参数就是填入的127.0.0.1
:
再次查看属性blacklist
,可以看到结果已经更新了:
我们可以在浏览器中测试一下黑名单功能是否已生效:
可见,127.0.0.1
确实被添加到了黑名单,后台日志打印如下:
1
2
2020-06-06 20:22:12 INFO c.i.l.web.BlacklistInterceptor - check ip address 127.0.0.1...
2020-06-06 20:22:12 WARN c.i.l.web.BlacklistInterceptor - will block ip 127.0.0.1 for it is in blacklist.
copy
注意:如果使用IPv6,那么需要把0:0:0:0:0:0:0:1
这个本机地址加到黑名单。
如果从jconsole中调用removeBlacklist
移除127.0.0.1
,刷新浏览器可以看到又允许访问了。
使用jconsole直接通过Local Process连接JVM有个限制,就是jconsole和正在运行的JVM必须在同一台机器。如果要远程连接,首先要打开JMX端口。我们在启动AppConfig
时,需要传入以下JVM启动参数:
-Dcom.sun.management.jmxremote.port=19999
-Dcom.sun.management.jmxremote.authenticate=false
-Dcom.sun.management.jmxremote.ssl=false
第一个参数表示在19999端口监听JMX连接,第二个和第三个参数表示无需验证,不使用SSL连接,在开发测试阶段比较方便,生产环境必须指定验证方式并启用SSL。详细参数可参考Oracle官方文档 。这样jconsole可以用ip:19999
的远程方式连接JMX。连接后的操作是完全一样的。
许多JavaEE服务器如JBoss的管理后台都是通过JMX提供管理接口,并由Web方式访问,对用户更加友好。
在实际项目中,通过JMX实现配置的实时更新其实并不常用,JMX更多地用于收集JVM的运行状态和应用程序的性能数据,然后通过监控服务器汇总数据后实现监控与报警。一个典型的监控系统架构如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
┌───────────────┐ ┌───────────────┐
│ Web Console │◀──│Metrics Server │
└───────────────┘ └───────────────┘
│
│
┌ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─│─ ─ ┐
┌───────────────┐ │
│ │ App │ │ │
├─────────┬─────┤ ┌─────┐
│ │ │ JMX │──▶│Agent│ │
│ └─────┤ └─────┘
│ │ JVM │ │
└───────────────┘
└ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ┘
copy
其中,App自身和JVM的的统计数据都通过JMX收集并发送给本机的一个Agent,Agent再将数据发送至监控服务器,最后以可视化的形式将监控数据通过Web等形式展示给用户。常用的监控系统有开源的Prometheus 和以云服务方式提供的DataDog 等。
小结
在Spring中使用JMX需要:
通过@EnableMBeanExport
启用自动注册MBean;
编写MBean并实现管理属性和管理操作。