我正在寻找一种将二进制数据传入/传出数据库的方法。如果可能的话，我希望它用 Hibernate 来完成(以与数据库无关的方式)。 我发现的所有解决方案都涉及将二进制数据作为 byte[] 显式或隐式加载到内存中。我需要避免它。假设我希望我的代码能够将来自数据库(存储在 BLOB 列中)的 2GB 视频写入本地文件，或者相反，使用不超过 256Mb 的内存。这显然是可以实现的，并且不涉及任何巫术。但是我找不到办法，现在我正试图避免调试 Hibernate。

让我们看一下示例代码(记住 -Jmx=256Mb)。

实体类:

public class SimpleBean {
    private Long id;
    private Blob data;
    // ... skipping getters, setters and constructors.
}

Hibernate 映射片段:

<class name="SimpleBean" table="SIMPLE_BEANS">
    <id name="id" column="SIMPLE_BEAN_ID">
        <generator class="increment" />
    </id>
    <property name="data" type="blob" column="DATA" />
</class>

测试代码片段:

Configuration cfg = new Configuration().configure("hibernate.cfg.xml");
ServiceRegistry serviceRegistry = new ServiceRegistryBuilder()
                                      .applySettings(cfg.getProperties())
                                      .buildServiceRegistry();

SessionFactory sessionFactory = cfg.buildSessionFactory(serviceRegistry);
Session session = sessionFactory.openSession();
session.beginTransaction();

File dataFile = new File("movie_1gb.avi");
long dataSize = dataFile.length();
InputStream dataStream = new FileInputStream(dataFile);

LobHelper lobHelper = session.getLobHelper();
Blob dataBlob = lobHelper.createBlob(dataStream, dataSize);

session.save( new SimpleBean(data) );
session.getTransaction().commit(); // Throws java.lang.OutOfMemoryError
session.close();

blobStream.close();
sessionFactory.close();

运行该代码段时，出现 OutOfMemory 异常。查看堆栈跟踪显示 Hibernate 尝试将流加载到内存中并获取 OutOfMemory(因为它应该)。这是堆栈跟踪:

java.lang.OutOfMemoryError: Java heap space
at java.util.Arrays.copyOf(Arrays.java:2271)
at java.io.ByteArrayOutputStream.grow(ByteArrayOutputStream.java:113)
at java.io.ByteArrayOutputStream.ensureCapacity(ByteArrayOutputStream.java:93)
at java.io.ByteArrayOutputStream.write(ByteArrayOutputStream.java:140)
at org.hibernate.type.descriptor.java.DataHelper.extractBytes(DataHelper.java:183)
at org.hibernate.type.descriptor.java.BlobTypeDescriptor.unwrap(BlobTypeDescriptor.java:121)
at org.hibernate.type.descriptor.java.BlobTypeDescriptor.unwrap(BlobTypeDescriptor.java:45)
at org.hibernate.type.descriptor.sql.BlobTypeDescriptor$4$1.doBind(BlobTypeDescriptor.java:105)
at org.hibernate.type.descriptor.sql.BasicBinder.bind(BasicBinder.java:92)
at org.hibernate.type.AbstractStandardBasicType.nullSafeSet(AbstractStandardBasicType.java:305)
at org.hibernate.type.AbstractStandardBasicType.nullSafeSet(AbstractStandardBasicType.java:300)
at org.hibernate.type.AbstractSingleColumnStandardBasicType.nullSafeSet(AbstractSingleColumnStandardBasicType.java:57)
at org.hibernate.persister.entity.AbstractEntityPersister.dehydrate(AbstractEntityPersister.java:2603)
at org.hibernate.persister.entity.AbstractEntityPersister.insert(AbstractEntityPersister.java:2857)
at org.hibernate.persister.entity.AbstractEntityPersister.insert(AbstractEntityPersister.java:3301)
at org.hibernate.action.internal.EntityInsertAction.execute(EntityInsertAction.java:88)
at org.hibernate.engine.spi.ActionQueue.execute(ActionQueue.java:362)
at org.hibernate.engine.spi.ActionQueue.executeActions(ActionQueue.java:354)
at org.hibernate.engine.spi.ActionQueue.executeActions(ActionQueue.java:275)
at org.hibernate.event.internal.AbstractFlushingEventListener.performExecutions(AbstractFlushingEventListener.java:326)
at org.hibernate.event.internal.DefaultFlushEventListener.onFlush(DefaultFlushEventListener.java:52)
at org.hibernate.internal.SessionImpl.flush(SessionImpl.java:1214)
at org.hibernate.internal.SessionImpl.managedFlush(SessionImpl.java:403)
at org.hibernate.engine.transaction.internal.jdbc.JdbcTransaction.beforeTransactionCommit(JdbcTransaction.java:101)
at org.hibernate.engine.transaction.spi.AbstractTransactionImpl.commit(AbstractTransactionImpl.java:175)
at ru.swemel.msgcenter.domain.SimpleBeanTest.testBasicUsage(SimpleBeanTest.java:63)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at org.junit.runners.model.FrameworkMethod$1.runReflectiveCall(FrameworkMethod.java:45)
at org.junit.internal.runners.model.ReflectiveCallable.run(ReflectiveCallable.java:15)

使用 Hibernate 4.1.5.SP1。确切的问题是:当使用 Hibernate 将 blob 存储在数据库中时，如何避免将流加载到内存中，而是使用直接流。我想避免关于为什么将视频存储在数据库列中而不是将其存储在某些内容存储库和链接中的主题。请将其视为与问题无关的模型。

似乎不同的方言可能有某种功能，Hibernate 可能会尝试将所有内容加载到内存中，因为底层数据库不支持流式 blob 或类似的东西。如果是这样的话 - 我希望看到一些不同方言在处理 blob 方面的比较表。

非常感谢您的帮助!

最佳答案

对于那些寻找同样东西的人。

糟糕的是，对于 PostgreSQL(可能还有很多其他的)，代码按预期工作(流而不尝试复制到内存)。 Hibernate 的内部工作取决于所选的方言。我首先使用的那个覆盖了直接使用流，转而使用由 byte[] 支持的 BinaryStream。

性能也没有问题，因为它在 PostgreSQL 的情况下只加载 OID(数字)，而在其他方言(包括 byte[] 实现)的情况下可能延迟加载数据。刚刚运行了一些肮脏的测试，在 10000 次带有和不带有二进制数据字段的实体负载中没有明显差异。

虽然将数据存储在数据库中似乎比将其作为外部文件保存在磁盘上要慢。但它可以让您在备份、处理特定文件系统的限制或并发更新等时省去很多麻烦。但这是题外话。

关于java - 如何使用 Hibernate 将数据流式传输到数据库 BLOB(字节 [] 中没有内存存储)，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/11926487/