學習日志 211223 MySQL水平擴展
MySQL數(shù)據(jù)庫橫向擴展
===================
# 背景
- 解決方案的任意一層 都應該有水平擴展的能力
- 數(shù)據(jù)庫水平擴展的方案很多, 但是大多是商業(yè)收費的
- sharding的優(yōu)點是什么
? - 可以水平擴展
? - 基本不要錢
- sharding的缺點
? - 嚴重依賴于sharding key
? - 有sharding key限定的語句 和原有SQL區(qū)別不大
? - 沒有sharding key限定的語句 會喪失大多數(shù)SQL的能力
? ? - 原子性等
? - 由于大部分的分析功能是沒有sharding key限定的 所以分析需求需要另找數(shù)據(jù)倉庫的解決方案支持
- sharding是窮人的數(shù)據(jù)庫層水平擴展方案
? - 商業(yè)的數(shù)據(jù)庫集群 往往是按裝機量正比收費的
? - 所以sharding能節(jié)省的費用 實際上是數(shù)據(jù)量越大 節(jié)省的越多
- 如果看很多軟件的發(fā)展趨勢
? - 往往就是一個免費干爆收費的過程
? - android和ios
? - mysql
# 目標
- 選取一個解決方案
- insert sharding with key
- select sharding with key
- DDL sharding
- select sharding without key
- scale-out
# sharding的解決方案
- application aware的
? - JDBC
? - 缺點 連接比較多
? - 每個datasource只有一個application可以使用
- proxy的
? - proxy的缺點是有集群單點的問題
? - 不滿足全棧可水平擴展的要求
- 基于JDBC的方案
- 首先看一下Apache的方案
? - https://shardingsphere.apache.org/
# 配置數(shù)據(jù)源
- 參考
? - https://shardingsphere.apache.org/document/current/en/user-manual/shardingsphere-jdbc/java-api/rules/sharding/
## 目標
- 兩個庫 不分表
- id做鍵, 簡單取余
## 流程
- 數(shù)據(jù)庫建表
? - 兩個庫的建表語句一致
- 配置一個基于shardingSphere的數(shù)據(jù)源
? - 配置兩個Hikari數(shù)據(jù)源作為原始數(shù)據(jù)源 分別連接到兩個庫實例
? - 配置分表規(guī)則
? ? - 配置表名格式 ShardingTableRuleConfiguration 部分
? - 配置分庫規(guī)則
? ? - 配置算法 ShardingSphereAlgorithmConfiguration 部分
? ? - (后續(xù)構(gòu)造總規(guī)則時會把底層數(shù)據(jù)源列表傳入)
? - 配置主鍵生成器 (未驗證)
? ? - ShardingSphereAlgorithmConfiguration 部分
? - 其它配置
? ? - 顯示SQL到日志
? - 構(gòu)建sharding數(shù)據(jù)源
? ? - 底層數(shù)據(jù)源列表(實際上是map)
? ? - 規(guī)則列表(目前只有sharding規(guī)則)
? ? - 其它配置
? - 說明
? ? - 原始示例中還有很多其它有用的配置, 如其它規(guī)則等
? ? - 后續(xù)用到了再專門講
- 配置mybatis使用這個新的數(shù)據(jù)源
? - 顯示配置以下三項
? - SqlSessionFactory
? - DataSourceTransactionManager
? - SqlSessionTemplate
? - 另外, 使用 MapperScan 注解的參數(shù) 指定對應的Dao使用新數(shù)據(jù)源
? ? - sqlSessionTemplateRef 部分
- 完整源碼如下
```
@Configuration
@MapperScan(basePackages = "org.kaien.springbootdemo.dao", sqlSessionTemplateRef? = "mySessionTemplate")
public class DBConfiguration {
? ? @Bean
? ? @Primary
? ? public DataSource shardingDataSource() throws SQLException {
? ? ? ? Map<String, DataSource> dataSourceMap = new HashMap<>();
? ? ? ? // Configure the 1st data source
? ? ? ? HikariDataSource dataSource0 = new HikariDataSource();
? ? ? ? dataSource0.setDriverClassName("com.mysql.jdbc.Driver");
? ? ? ? dataSource0.setJdbcUrl("jdbc:mysql://mycluster-mysql-0.mycluster-mysql:3306/test_db");
? ? ? ? dataSource0.setUsername("root");
? ? ? ? dataSource0.setPassword("Mysql123");
? ? ? ? dataSourceMap.put("ds_0", dataSource0);
? ? ? ? // Configure the 2nd data source
? ? ? ? HikariDataSource dataSource1 = new HikariDataSource();
? ? ? ? dataSource1.setDriverClassName("com.mysql.jdbc.Driver");
? ? ? ? dataSource1.setJdbcUrl("jdbc:mysql://mycluster-mysql-1.mycluster-mysql:3306/test_db");
? ? ? ? dataSource1.setUsername("root");
? ? ? ? dataSource1.setPassword("Mysql123");
? ? ? ? dataSourceMap.put("ds_1", dataSource1);
? ? ? ? // 表配置
? ? ? ? ShardingRuleConfiguration shardingRuleConfiguration = new ShardingRuleConfiguration();
? ? ? ? ShardingTableRuleConfiguration table = new ShardingTableRuleConfiguration("test_doc",
? ? ? ? ? ? ? ? "ds_${0..1}.test_doc");
? ? ? ? shardingRuleConfiguration.getTables().add(table);
? ? ? ? shardingRuleConfiguration.getBindingTableGroups().add("test_doc");
? ? ? ? // 數(shù)據(jù)庫配置
? ? ? ? Properties defaultModShardingAlgorithm = new Properties();
? ? ? ? defaultModShardingAlgorithm.setProperty("sharding-count", "2");
? ? ? ? shardingRuleConfiguration.getShardingAlgorithms().putIfAbsent("defaultModShardingAlgorithm",
? ? ? ? ? ? ? ? new ShardingSphereAlgorithmConfiguration("MOD", defaultModShardingAlgorithm));
? ? ? ? ShardingStrategyConfiguration defaultDatabaseShardingStrategy = new StandardShardingStrategyConfiguration(
? ? ? ? ? ? ? ? "id",
? ? ? ? ? ? ? ? "defaultModShardingAlgorithm"
? ? ? ? );
? ? ? ? shardingRuleConfiguration.setDefaultDatabaseShardingStrategy(defaultDatabaseShardingStrategy);
? ? ? ? // 主鍵生成配置
? ? ? ? Properties snowflakeProperties = new Properties();
? ? ? ? snowflakeProperties.setProperty("worker-id", "123"); // ? TODO
? ? ? ? shardingRuleConfiguration.getKeyGenerators().put("snowflake", new ShardingSphereAlgorithmConfiguration(
? ? ? ? ? ? ? ? "SNOWFLAKE",
? ? ? ? ? ? ? ? snowflakeProperties
? ? ? ? ));
? ? ? ? KeyGenerateStrategyConfiguration defaultKeyGenerateStrategy = new KeyGenerateStrategyConfiguration(
? ? ? ? ? ? ? ? "id",
? ? ? ? ? ? ? ? "snowflake"
? ? ? ? );
? ? ? ? shardingRuleConfiguration.setDefaultKeyGenerateStrategy(defaultKeyGenerateStrategy);
? ? ? ? // 其它配置
? ? ? ? Properties otherProperties = new Properties();
? ? ? ? otherProperties.setProperty("sql-show", "true");
? ? ? ? DataSource dataSource = ShardingSphereDataSourceFactory.createDataSource(
? ? ? ? ? ? ? ? dataSourceMap,
? ? ? ? ? ? ? ? Collections.singleton(shardingRuleConfiguration),
? ? ? ? ? ? ? ? otherProperties);
? ? ? ? return dataSource;
? ? }
? ? @Bean(name = "mySessionFactory")
? ? @Primary
? ? public SqlSessionFactory mySessionFactory(@Qualifier("shardingDataSource") DataSource shardingDataSource)
? ? ? ? ? ? throws Exception {
? ? ? ? SqlSessionFactoryBean bean = new SqlSessionFactoryBean();
? ? ? ? bean.setDataSource(shardingDataSource);
? ? ? ? return bean.getObject();
? ? }
? ? @Bean(name = "myTransactionManager")
? ? @Primary
? ? public DataSourceTransactionManager myTransactionManager(@Qualifier("shardingDataSource") DataSource shardingDataSource) {
? ? ? ? return new DataSourceTransactionManager(shardingDataSource);
? ? }
? ? @Bean(name = "mySessionTemplate")
? ? @Primary
? ? public SqlSessionTemplate mySessionTemplate(@Qualifier("mySessionFactory") SqlSessionFactory sqlSessionFactory) throws Exception {
? ? ? ? return new SqlSessionTemplate(sqlSessionFactory);
? ? }
}
```
- 檢查
? - 編寫dao層 實現(xiàn)queryById??
? ? - `select ... where id = #{id}`?
? - 再編寫一個controller 調(diào)用dao層
? - 由path傳入id 形如?
? ? - `@RequestMapping(value = "/doc/{id}", method = RequestMethod.GET)`
? - 從web訪問 嘗試id取奇數(shù) 或 偶數(shù) 看日志分別如下
? ? ```
? ? Actual SQL: ds_1 ::: select id, gmt_create, gmt_modify, doc from test_doc where id = ? ::: [1]
? ? ```
? ? 或者
? ? ```
? ? Actual SQL: ds_0 ::: select id, gmt_create, gmt_modify, doc from test_doc where id = ? ::: [2]
? ? ```?
## Q&A
- Q: 報SQL錯誤
- A: mybatis變量寫成了 #id, 實際上應為 #{id}?
- 這次特別順利 沒報什么其它的錯誤 如果讀者有相關(guān)的錯誤歡迎評論補充
# insert sharding with key TODO
?
