SpringBoot + Druid DataSource 實(shí)現(xiàn)監(jiān)控 MySQL 性能
1. 基本概念
我們都使用過(guò)連接池,比如C3P0,DBCP,hikari, Druid,雖然HikariCP的速度稍快,但Druid能夠提供強(qiáng)大的監(jiān)控和擴(kuò)展功能,也是阿里巴巴的開(kāi)源項(xiàng)目。
Druid是阿里巴巴開(kāi)發(fā)的號(hào)稱(chēng)為監(jiān)控而生的數(shù)據(jù)庫(kù)連接池,在功能、性能、擴(kuò)展性方面,都超過(guò)其他數(shù)據(jù)庫(kù)連接池,包括DBCP、C3P0、BoneCP、Proxool、JBoss DataSource等等,秒殺一切。
Druid可以很好的監(jiān)控DB池連接和SQL的執(zhí)行情況,天生就是針對(duì)監(jiān)控而生的DB連接池。
Spring Boot默認(rèn)數(shù)據(jù)源HikariDataSource與JdbcTemplate中已經(jīng)介紹Spring Boot 2.x默認(rèn)使用Hikari數(shù)據(jù)源,可以說(shuō)Hikari與Driud都是當(dāng)前Java Web上最優(yōu)秀的數(shù)據(jù)源。
而Druid已經(jīng)在阿里巴巴部署了超過(guò)600個(gè)應(yīng)用,經(jīng)過(guò)好幾年生產(chǎn)環(huán)境大規(guī)模部署的嚴(yán)苛考驗(yàn)!
stat:?Druid內(nèi)置提供一個(gè)StatFilter,用于統(tǒng)計(jì)監(jiān)控信息。
wall:?Druid防御SQL注入攻擊的WallFilter就是通過(guò)Druid的SQL Parser分析。Druid提供的SQL Parser可以在JDBC層攔截SQL做相應(yīng)處理,比如說(shuō)分庫(kù)分表、審計(jì)等。
log4j2:?這個(gè)就是 日志記錄的功能,可以把sql語(yǔ)句打印到log4j2供排查問(wèn)題。
2. 相關(guān)配置
2.1 添加依賴(lài)
<properties>
? ?<java.version>1.8</java.version>
? ?<alibabaDruidStarter.version>1.2.11</alibabaDruidStarter.version></properties><dependency>
? ?<groupId>com.alibaba</groupId>
? ?<artifactId>druid-spring-boot-starter</artifactId>
? ?<version>${alibabaDruidStarter.version}</version></dependency>
2.2 配置屬性
配置Druid數(shù)據(jù)源(連接池):?如同c3p0、dbcp數(shù)據(jù)源可以設(shè)置數(shù)據(jù)源連接初始化大小、最大連接數(shù)、等待時(shí)間、最小連接數(shù) 等一樣,Druid數(shù)據(jù)源同理可以進(jìn)行設(shè)置。
配置Druid web監(jiān)控filter(WebStatFilter):?這個(gè)過(guò)濾器的作用就是統(tǒng)計(jì)web應(yīng)用請(qǐng)求中所有的數(shù)據(jù)庫(kù)信息,比如 發(fā)出的sql語(yǔ)句,sql執(zhí)行的時(shí)間、請(qǐng)求次數(shù)、請(qǐng)求的url地址、以及seesion監(jiān)控、數(shù)據(jù)庫(kù)表的訪問(wèn)次數(shù)等等。
配置Druid后臺(tái)管理Servlet(StatViewServlet):?Druid數(shù)據(jù)源具有監(jiān)控的功能,并提供了一個(gè)web界面方便用戶(hù)查看,類(lèi)似安裝 路由器 時(shí),人家也提供了一個(gè)默認(rèn)的web頁(yè)面;需要設(shè)置Druid的后臺(tái)管理頁(yè)面的屬性,比如 登錄賬號(hào)、密碼等。
【注意】:Druid Spring Boot Starter配置屬性的名稱(chēng)完全遵照Druid,可以通過(guò)Spring Boot配置文件來(lái)配置Druid數(shù)據(jù)庫(kù)連接池和監(jiān)控,如果沒(méi)有配置則使用默認(rèn)值,如下在application.yml配置相關(guān)屬性:
# spring 配置spring:
?datasource:
? ?driver-class-name: com.mysql.cj.jdbc.Driver
? ?password: 123456
? ?username: root
? ?url: jdbc:mysql://localhost:3306/superjson?useUnicode=true&characterEncoding=utf8&useSSL=false
? ?# 連接池配置
? ?druid:
? ? ?# 初始化大小,最小,最大
? ? ?initial-size: 5
? ? ?min-idle: 5
? ? ?max-active: 20
? ? ?# 配置獲取連接等待超時(shí)的時(shí)間
? ? ?max-wait: 60000
? ? ?# 配置間隔多久才進(jìn)行一次檢測(cè),檢測(cè)需要關(guān)閉的空閑連接,單位毫秒
? ? ?time-between-eviction-runs-millis: 60000
? ? ?# 配置一個(gè)連接在池中最小生存時(shí)間
? ? ?min-evictable-idle-time-millis: 300000
? ? ?validation-query: SELECT 1 FROM user
? ? ?test-while-idle: true
? ? ?test-on-borrow: false
? ? ?test-on-return: false
? ? ?# 打開(kāi) PSCache,并且指定每個(gè)連接上 PSCache 的大小
? ? ?pool-prepared-statements: true
? ? ?max-pool-prepared-statement-per-connection-size: 20
? ? ?# 配置監(jiān)控統(tǒng)計(jì)攔截的 Filter,去掉后監(jiān)控界面 SQL 無(wú)法統(tǒng)計(jì),wall 用于防火墻
? ? ?filters: stat,wall,slf4j
? ? ?# 通過(guò) connection-properties 屬性打開(kāi) mergeSql 功能;慢 SQL 記錄
? ? ?connection-properties: druid.stat.mergeSql\=true;druid.stat.slowSqlMillis\=5000
? ? ?# 配置 DruidStatFilter
? ? ?web-stat-filter:
? ? ? ?enabled: true
? ? ? ?url-pattern: /*
? ? ? ?exclusions: .js,*.gif,*.jpg,*.bmp,*.png,*.css,*.ico,/druid/*
? ? ?# 配置 DruidStatViewServlet
? ? ?stat-view-servlet:
? ? ? ?url-pattern: /druid/*
? ? ? ?# IP 白名單,沒(méi)有配置或者為空,則允許所有訪問(wèn)
? ? ? ?allow: 127.0.0.1
? ? ? ?# IP 黑名單,若白名單也存在,則優(yōu)先使用
? ? ? ?deny: 192.168.31.253
? ? ? ?# 禁用 HTML 中 Reset All 按鈕
? ? ? ?reset-enable: false
? ? ? ?# 登錄用戶(hù)名/密碼
? ? ? ?login-username: root
? ? ? ?login-password: 123456
? ? ? ?# 需要設(shè)置enabled=true,否則會(huì)報(bào)出There was an unexpected error (type=Not Found, status=404).錯(cuò)誤,或者將druid-spring-boot-starter的版本降低到1.1.10及以下
? ? ? ?# 是否啟用StatViewServlet(監(jiān)控頁(yè)面)默認(rèn)值為false(考慮到安全問(wèn)題默認(rèn)并未啟動(dòng),如需啟用建議設(shè)置密碼或白名單以保障安全)
? ? ? ?enabled: true
上述配置文件的參數(shù)可以在com.alibaba.druid.spring.boot.autoconfigure.properties.DruidStatProperties和?org.springframework.boot.autoconfigure.jdbc.DataSourcePropertie中找到。
2.3 配置Filter
可以通過(guò)spring.datasource.druid.filters=stat,wall,log4j ...的方式來(lái)啟用相應(yīng)的內(nèi)置Filter,不過(guò)這些Filter都是默認(rèn)配置。如果默認(rèn)配置不能滿(mǎn)足需求,可以放棄這種方式,通過(guò)配置文件來(lái)配置Filter,如下所示:
# 配置StatFilter spring.datasource.druid.filter.stat.enabled=truespring.datasource.druid.filter.stat.db-type=h2spring.datasource.druid.filter.stat.log-slow-sql=truespring.datasource.druid.filter.stat.slow-sql-millis=2000# 配置WallFilter spring.datasource.druid.filter.wall.enabled=truespring.datasource.druid.filter.wall.db-type=h2spring.datasource.druid.filter.wall.config.delete-allow=falsespring.datasource.druid.filter.wall.config.drop-table-allow=false
目前為以下Filter提供了配置支持,根據(jù)(spring.datasource.druid.filter.*)進(jìn)行配置。
StatFilter
WallFilter
ConfigFilter
EncodingConvertFilter
Slf4jLogFilter
Log4jFilter
Log4j2Filter
CommonsLogFilter
不想使用內(nèi)置的Filters,要想使自定義Filter配置生效需要將對(duì)應(yīng)Filter的enabled設(shè)置為true,Druid Spring Boot Starter默認(rèn)禁用StatFilter,可以將其enabled設(shè)置為true來(lái)啟用它。
3 監(jiān)控頁(yè)面
啟動(dòng)項(xiàng)目后,訪問(wèn)http://localhost:8081/druid/login.html來(lái)到登錄頁(yè)面,輸入用戶(hù)名密碼登錄,如下所示:

圖片
數(shù)據(jù)源頁(yè)面 是當(dāng)前DataSource配置的基本信息,上述配置的Filter可以在里面找到,如果沒(méi)有配置 Filter(一些信息會(huì)無(wú)法統(tǒng)計(jì),例如SQL監(jiān)控會(huì)無(wú)法獲取JDBC相關(guān)的SQL執(zhí)行信息)

圖片
SQL監(jiān)控頁(yè)面,統(tǒng)計(jì)了所有SQL語(yǔ)句的執(zhí)行情況

圖片
URL監(jiān)控頁(yè)面,統(tǒng)計(jì)了所有Controller接口的訪問(wèn)以及執(zhí)行情況

圖片
Spring監(jiān)控頁(yè)面,利用aop對(duì)指定接口的執(zhí)行時(shí)間,jdbc數(shù)進(jìn)行記錄

圖片
SQL防火墻頁(yè)面
druid提供了黑白名單的訪問(wèn),可以清楚的看到sql防護(hù)情況。
Session監(jiān)控頁(yè)面
可以看到當(dāng)前的session狀況,創(chuàng)建時(shí)間、最后活躍時(shí)間、請(qǐng)求次數(shù)、請(qǐng)求時(shí)間等詳細(xì)參數(shù)。
JSONAPI頁(yè)面
通過(guò)api的形式訪問(wèn)Druid的監(jiān)控接口,api接口返回Json形式數(shù)據(jù)。
4. sql監(jiān)控
配置Druid web監(jiān)控filter(WebStatFilter)這個(gè)過(guò)濾器,作用就是統(tǒng)計(jì)web應(yīng)用請(qǐng)求中所有的數(shù)據(jù)庫(kù)信息,比如 發(fā)出的sql語(yǔ)句,sql執(zhí)行的時(shí)間、請(qǐng)求次數(shù)、請(qǐng)求的url地址、以及seesion監(jiān)控、數(shù)據(jù)庫(kù)表的訪問(wèn)次數(shù),如下配置:
spring:
?datasource:
? ?druid:
? ? ?########## 配置WebStatFilter,用于采集web關(guān)聯(lián)監(jiān)控的數(shù)據(jù) ##########
? ? ?web-stat-filter:
? ? ? ?enabled: true ? ? ? ? ? ? ? ? ? # 啟動(dòng) StatFilter
? ? ? ?url-pattern: /* ? ? ? ? ? ? ? ? # 過(guò)濾所有url
? ? ? ?exclusions: "*.js,*.gif,*.jpg,*.png,*.css,*.ico,/druid/*" # 排除一些不必要的url
? ? ? ?session-stat-enable: true ? ? ? # 開(kāi)啟session統(tǒng)計(jì)功能
? ? ? ?session-stat-max-count: 1000 ? ?# session的最大個(gè)數(shù),默認(rèn)100
5. 慢sql記錄
有時(shí)候,系統(tǒng)中有些SQL執(zhí)行很慢,我們希望使用日志記錄下來(lái),可以開(kāi)啟Druid的慢SQL記錄功能,如下配置:
spring:
?datasource:
? ?druid:
? ? ?filter:
? ? ? ?stat:
? ? ? ? ?enabled: true ? ? ? ? # 開(kāi)啟DruidDataSource狀態(tài)監(jiān)控
? ? ? ? ?db-type: mysql ? ? ? ?# 數(shù)據(jù)庫(kù)的類(lèi)型
? ? ? ? ?log-slow-sql: true ? ?# 開(kāi)啟慢SQL記錄功能
? ? ? ? ?slow-sql-millis: 2000 # 默認(rèn)3000毫秒,這里超過(guò)2s,就是慢,記錄到日志
啟動(dòng)后,如果遇到執(zhí)行慢的SQL,便會(huì)輸出到日志中
6. spring 監(jiān)控
訪問(wèn)之后spring監(jiān)控默認(rèn)是沒(méi)有數(shù)據(jù)的,但需要導(dǎo)入SprngBoot的AOP的Starter,如下所示:
<!--SpringBoot 的aop 模塊--><dependency>
? ?<groupId>org.springframework.boot</groupId>
? ?<artifactId>spring-boot-starter-aop</artifactId></dependency>
同時(shí)需要在application.yml按如下配置:
Spring監(jiān)控AOP切入點(diǎn),如com.springboot.template.dao.*,配置多個(gè)英文逗號(hào)分隔
spring.datasource.druid.aop-patterns="com.springboot.template.dao.*"
7. 去廣告(Ad)
訪問(wèn)監(jiān)控頁(yè)面的時(shí)候,你可能會(huì)在頁(yè)面底部(footer)看到阿里巴巴的廣告,如下所示:

圖片
原因:引入的druid的jar包中的common.js(里面有一段js代碼是給頁(yè)面的footer追加廣告的)
如果想去掉,有兩種方式:
1. 直接手動(dòng)注釋這段代碼
如果是使用Maven,直接到本地倉(cāng)庫(kù)中,查找這個(gè)jar包,注釋如下代碼:
// this.buildFooter();
common.js的位置:
com/alibaba/druid/1.1.23/druid-1.1.23.jar!/support/http/resources/js/common.js
2. 使用過(guò)濾器過(guò)濾
注冊(cè)一個(gè)過(guò)濾器,過(guò)濾common.js的請(qǐng)求,使用正則表達(dá)式替換相關(guān)的廣告內(nèi)容,如下代碼所示:
.class)
@ConditionalOnProperty(name = "spring.datasource.druid.stat-view-servlet.enabled",
havingValue = "true", matchIfMissing = true)public class RemoveDruidAdConfig { ? ?/**
? ?* 方法名: removeDruidAdFilterRegistrationBean
? ?* 方法描述 除去頁(yè)面底部的廣告
? ?* @param properties com.alibaba.druid.spring.boot.autoconfigure.properties.DruidStatProperties
? ?* @return org.springframework.boot.web.servlet.FilterRegistrationBean
? ?*/
? ?
? ?public FilterRegistrationBean removeDruidAdFilterRegistrationBean(DruidStatProperties properties) { ? ? ? ?// 獲取web監(jiān)控頁(yè)面的參數(shù)
? ? ? ?DruidStatProperties.StatViewServlet config = properties.getStatViewServlet(); ? ? ? ?// 提取common.js的配置路徑
? ? ? ?String pattern = config.getUrlPattern() != null ? config.getUrlPattern() : "/druid/*";
? ? ? ?String commonJsPattern = pattern.replaceAll("\\*", "js/common.js"); ? ? ? ?final String filePath = "support/http/resources/js/common.js"; ? ? ? ?//創(chuàng)建filter進(jìn)行過(guò)濾
? ? ? ?Filter filter = new Filter() { ? ? ? ? ? ?
? ? ? ? ? ?public void init(FilterConfig filterConfig) throws ServletException {} ? ? ? ? ? ?
? ? ? ? ? ?public void doFilter(ServletRequest request, ServletResponse response, FilterChain chain) throws IOException, ServletException {
? ? ? ? ? ? ? ?chain.doFilter(request, response); ? ? ? ? ? ? ? ?// 重置緩沖區(qū),響應(yīng)頭不會(huì)被重置
? ? ? ? ? ? ? ?response.resetBuffer(); ? ? ? ? ? ? ? ?// 獲取common.js
? ? ? ? ? ? ? ?String text = Utils.readFromResource(filePath); ? ? ? ? ? ? ? ?// 正則替換banner, 除去底部的廣告信息
? ? ? ? ? ? ? ?text = text.replaceAll("<a.*?banner\"></a><br/>", "");
? ? ? ? ? ? ? ?text = text.replaceAll("powered.*?shrek.wang</a>", "");
? ? ? ? ? ? ? ?response.getWriter().write(text);
? ? ? ? ? ?} ? ? ? ? ? ?
? ? ? ? ? ?public void destroy() {}
? ? ? ?};
? ? ? ?FilterRegistrationBean registrationBean = new FilterRegistrationBean();
? ? ? ?registrationBean.setFilter(filter);
? ? ? ?registrationBean.addUrlPatterns(commonJsPattern); ? ? ? ?return registrationBean;
? ?}
}
(DruidDataSourceAutoConfigure
兩種方式都可以,建議使用的是第一種,從根源解決。
8. 獲取 Druid 的監(jiān)控?cái)?shù)據(jù)
Druid的監(jiān)控?cái)?shù)據(jù)可以在開(kāi)啟StatFilter后,通過(guò)DruidStatManagerFacade進(jìn)行獲取;
DruidStatManagerFacade#getDataSourceStatDataList該方法可以獲取所有數(shù)據(jù)源的監(jiān)控?cái)?shù)據(jù),除此之外DruidStatManagerFacade還提供了一些其他方法,可以按需選擇使用。
@RestController@RequestMapping(value = "/druid")
public class DruidStatController { ? ?@GetMapping("/stat")
? ?public Object druidStat(){ ? ? ? ?// 獲取數(shù)據(jù)源的監(jiān)控?cái)?shù)據(jù)
? ? ? ?return DruidStatManagerFacade.getInstance().getDataSourceStatDataList();
? ?}
}