一种实现Spring动态数据源切换的方法 当前焦点

博客园   2023-06-19 16:25:15

1 目标

不在现有查询代码逻辑上做任何改动,实现dao维度的数据源切换(即表维度)

2 使用场景

节约bdp的集群资源。接入新的宽表时,通常uat验证后就会停止集群释放资源,在对应的查询服务器uat环境时需要查询的是生产库的表数据(uat库表因为bdp实时任务停止,没有数据落入),只进行服务器配置文件的改动而无需进行代码的修改变更,即可按需切换查询的数据源。

2.1 实时任务对应的集群资源2.2 实时任务产生的数据进行存储的两套环境2.3 数据使用系统的两套环境(查询展示数据)

即需要在zhongyouex-bigdata-uat中查询生产库的数据。


(相关资料图)

3 实现过程3.1 实现重点org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSourcespring提供的这个类是本次实现的核心,能够让我们实现运行时多数据源的动态切换,但是数据源是需要事先配置好的,无法动态的增加数据源。Spring提供的Aop拦截执行的mapper,进行切换判断并进行切换。

注:另外还有一个就是ThreadLocal类,用于保存每个线程正在使用的数据源。

3.2 AbstractRoutingDataSource解析
public abstract class AbstractRoutingDataSource extends AbstractDataSource implements InitializingBean{    @Nullable    private Map targetDataSources;    @Nullable    private Object defaultTargetDataSource;    @Override    public Connection getConnection() throws SQLException {        return determineTargetDataSource().getConnection();    }    protected DataSource determineTargetDataSource() {        Assert.notNull(this.resolvedDataSources, "DataSource router not initialized");        Object lookupKey = determineCurrentLookupKey();        DataSource dataSource = this.resolvedDataSources.get(lookupKey);        if (dataSource == null && (this.lenientFallback || lookupKey == null)) {            dataSource = this.resolvedDefaultDataSource;        }        if (dataSource == null) {            throw new IllegalStateException("Cannot determine target DataSource for lookup key [" + lookupKey + "]");        }        return dataSource;    }    @Override    public void afterPropertiesSet() {        if (this.targetDataSources == null) {            throw new IllegalArgumentException("Property "targetDataSources" is required");        }        this.resolvedDataSources = new HashMap<>(this.targetDataSources.size());        this.targetDataSources.forEach((key, value) -> {            Object lookupKey = resolveSpecifiedLookupKey(key);            DataSource dataSource = resolveSpecifiedDataSource(value);            this.resolvedDataSources.put(lookupKey, dataSource);        });        if (this.defaultTargetDataSource != null) {            this.resolvedDefaultDataSource = resolveSpecifiedDataSource(this.defaultTargetDataSource);        }    }

从上面源码可以看出它继承了AbstractDataSource,而AbstractDataSource是javax.sql.DataSource的实现类,拥有getConnection()方法。获取连接的getConnection()方法中,重点是determineTargetDataSource()方法,它的返回值就是你所要用的数据源dataSource的key值,有了这个key值,resolvedDataSource(这是个map,由配置文件中设置好后存入targetDataSources的,通过targetDataSources遍历存入该map)就从中取出对应的DataSource,如果找不到,就用配置默认的数据源。

看完源码,我们可以知道,只要扩展AbstractRoutingDataSource类,并重写其中的determineCurrentLookupKey()方法返回自己想要的key值,就可以实现指定数据源的切换!

3.3 运行流程我们自己写的Aop拦截Mapper判断当前执行的sql所属的命名空间,然后使用命名空间作为key读取系统配置文件获取当前mapper是否需要切换数据源线程再从全局静态的HashMap中取出当前要用的数据源返回对应数据源的connection去做相应的数据库操作3.4 不切换数据源时的正常配置
                                
3.5 进行动态数据源切换时的配置
                                                                                                                                    

核心是AbstractRoutingDataSource,由spring提供,用来动态切换数据源。我们需要继承它,来进行操作。这里我们自定义的com.zhongyouex.bigdata.common.aop.MultiDataSource就是继承了AbstractRoutingDataSource

package com.zhongyouex.bigdata.common.aop;import org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource;/** * @author: cuizihua * @description: 动态数据源 * @date: 2021/9/7 20:24 * @return */public class MultiDataSource extends AbstractRoutingDataSource {    /* 存储数据源的key值,InheritableThreadLocal用来保证父子线程都能拿到值。     */    private static final ThreadLocal dataSourceKey = new InheritableThreadLocal();    /**     * 设置dataSourceKey的值     *     * @param dataSource     */    public static void setDataSourceKey(String dataSource) {        dataSourceKey.set(dataSource);    }    /**     * 清除dataSourceKey的值     */    public static void toDefault() {        dataSourceKey.remove();    }    /**     * 返回当前dataSourceKey的值     */    @Override    protected Object determineCurrentLookupKey() {        return dataSourceKey.get();    }}
3.6 AOP代码
package com.zhongyouex.bigdata.common.aop;import com.zhongyouex.bigdata.common.util.LoadUtil;import lombok.extern.slf4j.Slf4j;import org.aspectj.lang.JoinPoint;import org.aspectj.lang.reflect.MethodSignature;import java.lang.reflect.Method;/** * 方法拦截  粒度在mapper上(对应的sql所属xml) * @author cuizihua * @desc 切换数据源 * @create 2021-09-03 16:29 **/@Slf4jpublic class MultiDataSourceInterceptor {//动态数据源对应的key    private final String otherDataSource = "dataSourceClickhouseOther";    public void beforeOpt(JoinPoint mi) {//默认使用默认数据源        MultiDataSource.toDefault();        //获取执行该方法的信息        MethodSignature signature = (MethodSignature) mi.getSignature();        Method method = signature.getMethod();        String namespace = method.getDeclaringClass().getName();//本项目命名空间统一的规范为xxx.xxx.xxxMapper        namespace = namespace.substring(namespace.lastIndexOf(".") + 1);//这里在配置文件配置的属性为xxxMapper.ck.switch=1 or 0  1表示切换        String isOtherDataSource = LoadUtil.loadByKey(namespace, "ck.switch");        if ("1".equalsIgnoreCase(isOtherDataSource)) {            MultiDataSource.setDataSourceKey(otherDataSource);            String methodName = method.getName();        }    }}
3.7 AOP代码逻辑说明

通过org.aspectj.lang.reflect.MethodSignature可以获取对应执行sql的xml空间名称,拿到sql对应的xml命名空间就可以获取配置文件中配置的属性决定该xml是否开启切换数据源了。

3.8 对应的aop配置
                                        

以上就是整个实现过程,希望能帮上有需要的小伙伴

作者:京东物流 崔子华

来源:京东云开发者社区

最新资讯