SpringBoot+Mybatis-plus整合EasyExcel批量导入Excel到数据库+导出Excel

王振军 2023-03-28 原文

一、前言

今天小编带大家一起整合一下easyExcel，之所以用这个，是因为easyExcel性能比较好，不会报OOM！

市面上常见的导入导出Excel分为三种：

hutool
easyExcel
poi

hutool和easyExcel都是对poi的封装，使用起来更加方便！

二、导入依赖

小编这里是3.0.X版本的，版本不同可能导致部分有出入，如果大家版本是3.1.X，可以去官方文档看看有不一样的！

官方文档：https://easyexcel.opensource.alibaba.com/

<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>easyexcel</artifactId>
    <version>3.0.5</version>
</dependency>

三、实体类

这里可以自带的转换器：

@DateTimeFormat("yyyy年MM月dd日HH时mm分ss秒")
LocalDateTimeStringConverter

或者自定义转化器：实现：implements Converter<T>。

具体文档：官方文档：https://easyexcel.opensource.alibaba.com/docs/3.0.x/quickstart/read#%E6%97%A5%E6%9C%9F%E6%95%B0%E5%AD%97%E6%88%96%E8%80%85%E8%87%AA%E5%AE%9A%E4%B9%89%E6%A0%BC%E5%BC%8F%E8%BD%AC%E6%8D%A2

@ExcelProperty参数注意：

这里不建议 index 和 name 同时用，要么一个对象只用index，要么一个对象只用name去匹配。

用名字去匹配，这里需要注意，如果名字重复，会导致只有一个字段读取到数据。

/**
 * @author wangzhenjun
 * @date 2022/12/2 15:52
 */
@Data
public class Test {

    @TableId
    private Integer id;
    @ExcelProperty(index = 0)
    private String name;
    @ExcelProperty(index = 1)
    private Integer age;
    @ExcelProperty(index = 2,converter = LocalDateTimeStringConverter.class)
    private LocalDateTime time;
}

四、编写监听器

注意点：这个监听器一定不要是单例的，被spring管理默认为单例，如果要使用@Component，一定要加上：@Scope("prototype")，这样在创建完后spring不会进行管理，每次都会是新bean！不加@Component在导入时要进行new ImportDataListener！小编这里不想new了直接这样写！！如果不想这样，可以使用构造器set进行使用！BATCH_COUNT：数据阈值，超过了就会清理list，在之前可以进行保存到数据库中，方便内存回收，防治OOM！这里保存到数据库中一般使用批量保存，不要解析到一行就去保存数据库中，这样数据量大会给数据库增加IO，导致挂掉！这里小编使用ServiceImpl的saveBatch()方法，也可以自己写一下，像小编这样写，会出现循环依赖，加上@Lazy就行！

/**
 * @author wangzhenjun
 * @date 2022/12/2 15:38
 */
@Slf4j
@Component
// 每次bean都是新的，不要单例
@Scope("prototype")
public class ImportDataListener implements ReadListener<Test> {

    @Autowired
    @Lazy
    private TestService testService;

    /**
     * 每隔5条存储数据库，实际使用中可以100条，然后清理list ，方便内存回收
     */
    private static final int BATCH_COUNT = 100;
    /**
     * 缓存的数据
     */
    private List<Test> importExcelDataList = ListUtils.newArrayListWithExpectedSize(BATCH_COUNT);


    /**
     * 这个每一条数据解析都会来调用
     *
     * @param data    one row value. Is is same as {@link AnalysisContext#readRowHolder()}
     * @param context
     */
    @Override
    public void invoke(Test data, AnalysisContext context) {
        log.info("解析到一条数据:{}", JSON.toJSONString(data));
        importExcelDataList.add(data);
        // 达到BATCH_COUNT了，需要去存储一次数据库，防止数据几万条数据在内存，容易OOM
        if (importExcelDataList.size() >= BATCH_COUNT) {
            saveData();
            // 存储完成清理 list
            importExcelDataList = ListUtils.newArrayListWithExpectedSize(BATCH_COUNT);
        }
    }

    /**
     * 所有数据解析完成了 都会来调用
     *
     * @param context
     */
    @Override
    public void doAfterAllAnalysed(AnalysisContext context) {
        // 这里也要保存数据，确保最后遗留的数据也存储到数据库
        saveData();
        log.info("所有数据解析完成！");
    }

    /**
     * 加上存储数据库
     */
    private void saveData() {
        log.info("{}条数据，开始存储数据库！", importExcelDataList.size());
        testService.saveBatch(importExcelDataList);
        log.info("存储数据库成功！");
    }
}

五、Controller

/**
 * @author wangzhenjun
 * @date 2022/10/26 16:51
 */
@Slf4j
@RestController
@RequestMapping("/test")
public class TestController {

    @Autowired
    private TestService testService;

    @PostMapping("/import")
    public Result importExcel(@RequestBody MultipartFile multipartFile){
        testService.importExcel(multipartFile);
        return Result.success("ok");
    }
}

六、Service

/**
 * @author wangzhenjun
 * @date 2022/10/26 16:55
 */
public interface TestService extends IService<Test> {
    void importExcel(MultipartFile multipartFile);
}

七、ServiceImpl

/**
 * @author wangzhenjun
 * @date 2022/10/26 16:56
 */
@Service
public class TestServiceImpl extends ServiceImpl<TestDbMapper, Test> implements TestService{

    @Autowired
    private ImportDataListener importDataListener;

    @SneakyThrows
    @Override
    public void importExcel(MultipartFile multipartFile) {
        InputStream inputStream = multipartFile.getInputStream();
        // 这里 需要指定读用哪个class去读，然后读取第一个sheet 文件流会自动关闭
        EasyExcel.read(inputStream, Test.class, importDataListener).sheet().doRead();
    }
}

八、Mapper

/**
 * @author wangzhenjun
 * @date 2022/10/26 17:07
 */
public interface TestDbMapper extends BaseMapper<Test> {
}

九、测试

准备Excel数据：

postman上传：

控制台打印：

数据库查看：

完美搞定！！

十、总结

这样就完成了easyExcel批量导入Excel到数据库，还是有很多要注意的点：

自定义转换器
监听器不要单例
保存数据库采用批量
版本差距

有关SpringBoot+Mybatis-plus整合EasyExcel批量导入Excel到数据库+导出Excel的更多相关文章

ruby - 检查是否通过 require 执行或导入了 Ruby 程序 - 2
如何检查Ruby文件是否是通过“require”或“load”导入的，而不是简单地从命令行执行的？例如:foo.rb的内容:puts"Hello"bar.rb的内容require'foo'输出:$./foo.rbHello$./bar.rbHello基本上，我想调用bar.rb以不执行puts调用。最佳答案将foo.rb改为:if__FILE__==$0puts"Hello"end检查__FILE__-当前ruby文件的名称-与$0-正在运行的脚本的名称。关于ruby-检查是否
Ruby:如何从另一个文件导入变量？ - 2
我正在尝试创建一个与compass一起使用的本地配置文件，这样我们就可以处理开发人员机器上的不同导入路径。到目前为止，我已经尝试将文件导入到异常block中，以防它不存在，然后进一步使用该变量:local_config.rbVENV_FOLDER='venv'config.rbVENV_FOLDER='.'beginrequire'local_config.rb'rescueLoadErrorendputsVENV_FOLDER通常我是一名Python开发人员，所以我希望导入将VENV_FOLDER的值更改为venv，但它仍然是。之后。有没有一种方法可以导入local_config.r
ruby - Ruby 导入的方法总是私有(private)的吗？ - 2
最好用一个例子来解释:文件1.rb:deffooputs123end文件2.rb:classArequire'file1'endA.new.foo将给出错误“':调用了私有(private)方法'foo'”。我可以通过执行A.new.send("foo")来解决这个问题，但是有没有办法公开导入的方法？编辑:澄清一下，我没有混淆include和require。另外，我不能使用正常包含的原因(正如许多人正确指出的那样)是因为这是元编程设置的一部分。我需要允许用户在运行时添加功能；例如，他可以说“run-this-app--includefile1.rb”，应用程序的行为将根据他在file1
ruby-on-rails - Rails 导入 CSV 错误 : invalid byte sequence in UTF-8 - 2
尝试在我的Rails应用程序中导入CSV文件时，出现错误UTF-8中的无效字节序列。一切正常，直到我添加了一个gsub方法来将其中一个CSV列与我的数据库中的一个字段进行比较。当我导入CSV文件时，我想检查每一行的地址是否包含在特定客户端的不同地址数组中。我有一个带有alt_addresses属性的客户端模型，其中包含客户端地址的几种不同可能格式。然后我有一个引用模型(如果您熟悉本地SEO，您就会知道这个术语)。引用模型没有地址字段，但它有一个nap_correct?字段(NAP代表“姓名”、“地址”、“电话号码”)。如果CSV行的名称、地址和电话号码与我在该客户的数据库中拥有的相同，
ruby - 如何批量检查文件内容是否相同 - 2
我想使用Ruby检查数千对文件中的每对文件是否包含相同的信息。有人能指出我正确的方向吗？最佳答案 require'fileutils'FileUtils.compare_file('file1','file2')当且仅当文件file1和file2相同时返回true。关于ruby-如何批量检查文件内容是否相同，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/33769865/
ruby - 如何使用远程 API 将 Confluence "Space"导出为 PDF - 2
如何将Confluence的“空间”导出为pdf文件？看起来Confluence5.0可能仍然支持使用XML-RPCAPI。不过，我找不到调用什么的示例。https://developer.atlassian.com/display/CONFDEV/Remote+API+Specification+for+PDF+Export#RemoteAPISpecificationforPDFExport-XML-RPCInformation该链接表示调用应以pdfexport为前缀，但没有列出任何调用或给出示例。最佳答案这可以使用Bob
ruby-on-rails - 在 Rails 中使用 accepts_nested_attributes_for + 批量赋值保护 - 2
假设你有这个结构:classHouse请注意，Tv的用户是故意不可访问的。所以你有一个三层嵌套的表单，允许你在一个页面上输入房子、房间和电视。这是Controller的创建方法:defcreate@house=House.new(params[:house])if@house.save#...standardstuffelse#...standardstuffendend问题:您究竟如何为每台电视填充user_id(它应该来自current_user.id)？什么是好的做法？这是我在其中看到的catch22。将user_ids直接填充到params散列中(它们嵌套得很深)保存将失败，因
ruby - git:从 bitbucket 导出并导入 github(带提交) - 2
我在bitbucket上创建了一个私有(private)git存储库并提交了代码。现在我想导出所有(提交、代码、历史记录)并将其导入github上的gitrepo。有没有办法做到这一点？谢谢最佳答案在本地检查所有内容到您的计算机和gitpull。创建一个github存储库将此存储库添加为您的第二个远程(“使用gitremote添加githubURL”)推送到第二个Remote 关于ruby-git:从bitbucket导出并导入github(带提交)，我们在StackOverflow
springboot定时任务 - 2
如果您希望在Spring中启用定时任务功能，则需要在主类上添加 @EnableScheduling 注解。这样Spring才会扫描 @Scheduled 注解并执行定时任务。在大多数情况下，只需要在主类上添加 @EnableScheduling 注解即可，不需要在Service层或其他类中再次添加。以下是一个示例，演示如何在SpringBoot中启用定时任务功能：@SpringBootApplication@EnableSchedulingpublicclassApplication{publicstaticvoidmain(String[]args){SpringApplication.ru
ruby-on-rails - Railscasts 第 362 集 - 导出到 Excel : How to avoid the warning message given by Excel 2010 when opening the file? - 2
当使用RyanBates的Railscasts第362集关于导出到Excel(https://github.com/railscasts/362-exporting-csv-and-excel)的示例应用程序时，我注意到Excel2010(在Windows上)在打开.xls文件时给我一条警告消息我使用“下载为Excel”链接下载的文件。警告内容如下:“您尝试打开的文件...的格式与文件扩展名指定的格式不同。打开文件前请确认文件未损坏且来源可靠。是否要打开现在存档吗？”当我单击"is"时，我可以很好地打开文件。在使用Excel2011(在Mac上)时，我什至没有收到警告消息。但我希望能够