草庐IT

littleBig

全部标签

java - 在Java/Clojure中处理大型数据集: littleBig data

我一直在使用Clojure开发图形/数据处理应用程序(youcanseeascreenshothere)(尽管通常,我使用的Java比Clojure还要多),并且已经开始使用更大的数据集测试我的应用程序。大约100k点我没有问题,但是当我开始变得更高时,我遇到了堆空间问题。现在,从理论上讲,大约一半的GB应该足以容纳大约7,000万个double。当然,我正在做很多事情,需要一些开销,实际上我可能同时在内存中保存了2-3个数据副本,但是我还没有做很多优化,大约500k仍然在订货数量级小于我应该能够加载的数量。我了解Java对堆的大小有人为的限制(可以更改),并且我可以部分地更改这些限制