博主精品——动态Excel导入（包含动态表头校验、动态多种数据校验、动态导入模版）

DBC 420 0
温馨提示

目前为基础使用版本，未来可以使用从设计模式方面改造一下，当前只要能够使用即可~
需求：我们只需要修改数据库中的数据，即可实现表格的动态导入，不需要如果有一点点的变化都需要去修改代码，经过公司定制化之后，基本可以实现线上的动态Excel导入~

本文章计划完成的功能有：
1.基本数据导入——已完成[aru_50]
2.动态表头校验——已完成[aru_50]
3.动态多种数据校验——已完成[aru_50]
4.真·批量导入——已完成[aru_50]
5.动态导入模版——已完成[aru_50]
6.灵活的错误Excel导出——已完成[aru_50]
7.实现更加个性化的封装，一种热拔插效果（重中之重）——进行中[aru_19]

一、第一版简单的导入实现

实现思路

第一版的简单设计思路

  1. 通过数据库设定正确的表头相关
  2. 从导入文件获取到表头之后和正确的表头进行对比
  3. 根据数据库设定的字段名字，找到对应的实体类中的字段信息，将其转换为正确的 sql 列名。
    1. 通过反射来实现所有字段的映射

总结：通过数据库的调整，可以实现导入的相关配置。

 

最开始的准备工作

1.数据库相关

CREATE TABLE `dynamic_import_excel` (
  `id` int(11) NOT NULL,
  `function_number` int(11) DEFAULT NULL COMMENT '功能编号',
  `function_name` varchar(100) DEFAULT NULL COMMENT '功能名字',
  `field_name` varchar(100) DEFAULT NULL COMMENT '字段名字（中文）',
  `property_name` varchar(100) DEFAULT NULL COMMENT '字段名字（英文）',
  `verify_mode` varchar(100) DEFAULT NULL COMMENT '校验模式（如果使用多个，使用数字逗号隔开，具体校验模式查看：VerifyModeEnum 枚举类）',
  `index_num` int(11) DEFAULT NULL COMMENT '表头排序下标（从0开始）',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4

小例子

博主精品——动态Excel导入（包含动态表头校验、动态多种数据校验、动态导入模版）插图

2.实体类 —— DynamicImportExcel

点击查看完整 DynamicImportExcel 内容

关键Mapper

DynamicImportExcelMapper

import com.baomidou.mybatisplus.core.mapper.BaseMapper;
import com.example.test05.demo.model.DynamicImportExcel;
import org.apache.ibatis.annotations.Mapper;
import org.apache.ibatis.annotations.Param;
import org.apache.ibatis.annotations.Select;

import java.util.List;

/**
 * @author DBC
 * @date 2024/6/3 11:12
 * @network dbc655.top
 */
@Mapper
public interface DynamicImportExcelMapper extends BaseMapper<DynamicImportExcel> {

     Integer saveBatch(@Param("tableName") String tableName,
                       @Param("columns") List<String> columns,
                       @Param("data") List<List<String>> data);
}

DynamicImportExcelMapper.xml

<!--    Integer saveBatch(@Param("tableName") String tableName,-->
<!--    @Param("columns") List<String> columns,-->
<!--    @Param("data") List<List<String>> data);-->
    <select id="saveBatch" resultType="java.lang.Integer">
        INSERT INTO
        ${tableName}
        (
            <foreach collection="columns" item="column" separator=",">
                ${column}
            </foreach>
        )
        VALUES
            <foreach collection="data" item="data" separator=",">
                (
                    <foreach collection="data" item="item" separator=",">
                        #{item}
                    </foreach>
                )
            </foreach>
    </select>

3.核心service

DynamicImportExcelService

点击查看完整 DynamicImportExcelService 内容

4.实现效果 小例子

    @Resource
    private UserMapper userMapper;
    @Resource
    private DynamicImportExcelService dynamicImportExcelService;



    @SneakyThrows
    @RequestMapping("/importExcel")
    public JsonData importExcel(MultipartFile file) throws IOException, ClassNotFoundException {

        dynamicImportExcelService.getJsonData(file, UserDO.class, userMapper);
        return JsonData.buildSuccess();
    }

博主精品——动态Excel导入（包含动态表头校验、动态多种数据校验、动态导入模版）插图2

导入后效果

博主精品——动态Excel导入（包含动态表头校验、动态多种数据校验、动态导入模版）插图4
可以看到，基本能够实现我们想要的效果[aru_51]

二、第二版简单实现 —— 增加动态的校验

设计思路
  1. 通过数据库定义的校验规则，选择对应的校验策略类
  2. 判断如果校验失败则加入到错误列表中，方便后续的导出错误列表Excel

总结：使用设计模式——策略模式 ，实现对应的校验相关，本文只举例3个策略类（身份证校验、中文校验、数字校验），可以根据对应的项目编写对应的策略类即可实现公司定制化效果！[aru_42]

1.简单的策略工厂 —— DynamicImportFactory

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;

import java.util.Map;

/**
 * @author DBC
 * @date 2024/5/31 10:43
 * @network dbc655.top
 */
@Component
public class DynamicImportFactory {
    @Autowired
    private Map<String, DynamicImportInterface> dynamicImportInterfaceMap;

    public DynamicImportInterface getMsgStrategy(String type) throws Exception {
        DynamicImportInterface payInterface = dynamicImportInterfaceMap.get(type);
        if(payInterface == null){
            throw new Exception("错误的选项！");
        }
        return payInterface;
    }
}

2.策略接口类 —— DynamicImportInterface

import com.fasterxml.jackson.core.JsonProcessingException;

import java.util.Objects;

/**
 * @author DBC
 * @date 2024/5/31 10:22
 * @network dbc655.top
 */
public interface DynamicImportInterface {
     Boolean check(Object o) throws JsonProcessingException;

}

3.三个简单的策略类 DynamicImportIdCardStrategy、DynamicImportIdChineseStrategy、DynamicImportNumberStrategy

点击查看完整 DynamicImportIdCardStrategy 内容

点击查看完整 DynamicImportIdChineseStrategy 内容

点击查看完整 DynamicImportNumberStrategy 内容

4.一个简单的枚举类 —— VerifyModeEnum

点击查看完整 VerifyModeEnum 内容

5.核心 Service 类

点击查看完整 DynamicImportExcelService 内容
温馨提示

核心Service类发生了很多变化，里面注释已经十分完善！[aru_53]

6.小例子，以及最终效果

导入模版

博主精品——动态Excel导入（包含动态表头校验、动态多种数据校验、动态导入模版）插图6

导入结果

博主精品——动态Excel导入（包含动态表头校验、动态多种数据校验、动态导入模版）插图8

错误数组

博主精品——动态Excel导入（包含动态表头校验、动态多种数据校验、动态导入模版）插图10

温馨提示

OK，基本实现了校验的编写，这个动态导入功能写到这里，也已经内容过半了[aru_51]

三、第三版优化，代码小重构，加入重复数据相关校验

温馨提示

之前的配置有点略微复杂，目前将策略类抽离到枚举类中，更加的简洁了，更加利于维护，具体改动如下相关类：VerifyModeEnum、DynamicImportFactory、DynamicImportInterface、新增VerifyContext类、删除DynamicImportConstants类、相关策略类

通过以下几种方式进一步优化代码，以提高可读性和可维护性：

  1. 简化枚举的使用：直接在枚举类中封装获取策略和错误信息的方法。
  2. 消除重复的代码：将重复代码提取出来，减少冗余。
  3. 引入策略上下文：使用策略上下文来管理策略的执行，避免直接在循环中调用策略。

总结

  1. 在VerifyModeEnum枚举中添加获取策略实例和错误信息的方法，简化调用逻辑。
  2. 创建VerifyContext类，封装策略的执行逻辑，避免在循环中直接调用策略，提升代码的可读性和维护性。

通过这些改进，代码的结构更加清晰，职责更加分明，易于扩展和维护。

博主精品——动态Excel导入（包含动态表头校验、动态多种数据校验、动态导入模版）插图12

改动到的相关类

VerifyModeEnum

点击查看完整内容

DynamicImportExcelService

点击查看完整内容

DynamicImportBaseStrategy

点击查看完整内容

DynamicImportFactory

点击查看完整内容

DynamicImportIdCardStrategy

点击查看完整内容

DynamicImportIdChineseStrategy

点击查看完整内容

DynamicImportInterface

点击查看完整内容

DynamicImportNumberStrategy

点击查看完整内容

DynamicImportRepeatDataStrategy

点击查看完整内容

VerifyContext

点击查看完整内容

代码更加的简洁了，从设计层面上来看，更加的清晰、简洁。

导入一览

导入模版

博主精品——动态Excel导入（包含动态表头校验、动态多种数据校验、动态导入模版）插图14

导入后的效果

博主精品——动态Excel导入（包含动态表头校验、动态多种数据校验、动态导入模版）插图16
红框位置即为新增的功能，到此，第三版开发完成，距离第一个正式版本更近一步！[aru_44]

四、动态导入模版

点击查看完整内容
解析

通过我们定义好的表头，反过来再导出去。数据库增加一个单行的注释，如下图所示

博主精品——动态Excel导入（包含动态表头校验、动态多种数据校验、动态导入模版）插图18

导出后的效果

博主精品——动态Excel导入（包含动态表头校验、动态多种数据校验、动态导入模版）插图20

即可实现动态导入模版，搭配使用基本完成大半此功能！[aru_51]

五、灵活的错误Excel导出

关键实现代码

            private void saveErrorData() {
                // 构造一个表头
                List<List<String>> headList = dynamicImportExcels.stream()
                        .map(dynamicImportExcel -> Arrays.asList(dynamicImportExcel.getFunctionName()+" —— 错误数据Excel", dynamicImportExcel.getFieldName()))
                        .collect(Collectors.toList());
                headList.add(Arrays.asList(headList.get(0).get(0), "错误原因"));

                File exportPath = new File(exportPathStr);

                if (!exportPath.exists()) {
                    exportPath.mkdirs();
                }

                String fileName = dynamicImportExcels.get(0).getFunctionName() + "_" + "错误数据" + ".xlsx";
                File file  = new File(exportPathStr + File.separator + fileName);

                 // 导出
                getExcel(dynamicImportExcels.get(0).getFunctionName(), file, headList, cachedErrorDataList);

            }

实现效果

博主精品——动态Excel导入（包含动态表头校验、动态多种数据校验、动态导入模版）插图22
博主精品——动态Excel导入（包含动态表头校验、动态多种数据校验、动态导入模版）插图24

至此，基本已经完成了动态导入的代码编写，可以说是v0.9的版本了，接下来需要对代码进行相关的调整，个性化的校验类能够实现热拔插的效果即可完成整个功能[aru_36]

六、计划改造对应的保存和校验位置代码，实现更灵活的封装

温馨提示

“行百里路者半九十”

赠元发弟放言

宋·黄庭坚

亏功一篑，未成丘山。凿井九阶，不次水泽。

行百里者半九十，小狐汔济濡其尾。故曰时乎，时不再来。

终终始始，是谓君子。

因为每个项目的导入一定是非常的个性化的，比如说根据什么字段进行覆盖？根据什么情况进行删除？是否可以做更新操作？等等等。。。[aru_110]

本文作者为DBC，转载请注明。

发表评论 取消回复
表情 图片 链接 代码

分享