草庐IT

min-heap

全部标签

android - 将 Apache Pig 导入 Android 项目导致 "Unable to execute dex: Java heap space"错误

我试图在我的Android应用程序中序列化一个TreeMap,这样我就可以将它保存到一个SharedPreferences,如thisStackOverflowQ&A中所建议的那样.它用于ArrayList,但我还是捕获了机会。重点是使用ApachePig项目中的ObjectSerializer类将TreeMap序列化为String并将其保存在共享首选项中的该数据类型中。然而,当我在不使用Hadoop的情况下导入.jar后,我就开始遇到很多错误。当我在模拟器中运行我的应用程序时(我使用的是Eclipse),我的IDE底部的状态栏永远不会超过消息“正在启动[应用程序名称]100%...”

hadoop - MAX 中的 NULL,HIVE 中的 MIN 函数

在Hive中计算MAX和MIN函数时,我需要包含NULL值。例如,如果我有表:idvaluesA1B3CNULL然后MAX(values)应该返回NULL。 最佳答案 您可以创建一个标志,表明在您的key组中有NULL。然后您可以聚合新创建的列并查找您的标志是否存在,表明该组中至少有一个NULL。数据:keyval-----------A1ANULLB3B2CNULLC10C4查询0:SELECTkey,CASEWHENARRAY_CONTAINS(cs,1)THENNULLELSEmENDAScol_maxFROM(SELECTk

hadoop - Elasticsearch:数周的聚合 min_doc_count 不起作用

我对interval=week和min_doc_count=0进行了以下聚合{"aggs":{"scores_by_date":{"date_histogram":{"field":"date","format":"yyyy-MM-dd","interval":"week","min_doc_count":0}}}和日期过滤器从Jan-01-2015到Feb-23-2015{"range":{"document.date":{"from":"2015-01-01","to":"2015-02-23"}}}我预计Elasticsearch会填满七个星期,即使是空的并返回桶,但最终只有一个

sql - Hive: java.lang.OutOfMemoryError: Java heap space and Job running in-process (local Hadoop)

我的设置:运行NixOSLinux的GoogleCloudPlatform中的4节点集群(1个主节点,3个工作节点)。我一直在使用TPC-DS工具包来生成数据和查询都是标准的。在较小的数据集/更简单的查询上,它们工作得很好。我从这里获取的查询:https://github.com/hortonworks/hive-testbench/tree/hdp3/sample-queries-tpcds这是第一个,query1.sql:WITHcustomer_total_returnAS(SELECTsr_customer_skASctr_customer_sk,sr_store_skASct

hadoop - 弹性 MapReduce 上的 Mahout : Java Heap Space

我在AmazonElasticMapReduce集群上从命令行运行Mahout0.6,试图canopy-cluster~1500个短文档,但作业一直失败并显示“错误:Java堆空间”消息。根据之前在这里和其他地方的问题,我调高了我能找到的每个内存旋钮:conf/hadoop-env.sh:在小实例上将所有堆空间设置为1.5GB,在大实例上甚至设置为4GB。conf/mapred-site.xml:添加mapred.{map,reduce}.child.java.opts属性,并将它们的值设置为-Xmx4000m$MAHOUT_HOME/bin/mahout:增加JAVA_HEAP_MA

hadoop - HDFS 中参数 "mapred.min.split.size"的行为

参数“mapred.min.split.size”改变了之前写入文件的block的大小?假设我在开始JOB时传递值为134217728(128MB)的参数“mapred.min.split.size”。关于发生的事情,正确的说法是什么?1-每个MAP处理相当于2个HDFSblock(假设每个block64MB);2-我的输入文件(以前包含HDFS)将有一个新的分区,以占用HDFS128M中的block; 最佳答案 splitsize的计算公式:-max(mapred.min.split.size,min(mapred.max.spl

java.lang.OutOfMemoryError : Java heap space with hive 错误

我使用了hadoophive0.9.0和1.1.2以及netbeans,但是我收到了这个错误,我无法解决这个问题请帮我代码:publicclassHive_test{privatestaticStringdriverName="org.apache.hadoop.hive.jdbc.HiveDriver";@SuppressWarnings("CallToThreadDumpStack")publicstaticvoidmain(String[]args)throwsSQLException{try{Class.forName(driverName);}catch(ClassNotFo

php - Instagram API 检索哈希媒体 - 此端点已弃用 next_max_id 和 min_id;使用 min_tag_id 和 max_tag_id 代替

我想获取像iconosquare这样的instagram标签媒体.所以我正在使用CosenaryPHPApi启动我的Instagram项目。在我使用$instagram->getLoginUrl()验证/访问url之后然后该页面将使用?code参数将我重定向到我的回调url。在我的回调url的php文件中,我使用代码并获取我的access_token:$data=$instagram->getOAuthToken($_GET['code']);$access_token=$data->access_token;因此,使用access_token,我正在尝试获取coffee媒体标签文件$

java - Netbeans OutOfMemoryError : Java heap space, 代码格式化

当我在netbeans中格式化代码时,我最近开始收到“OutOfMemoryError:Javaheapspace”错误。我使用netbeans已有2年多了,而这在我开发的典型机器上才刚刚开始。当前使用6.9版,在XP机器上,4Gb内存。我已经将-J-Xmx调整为1024m,甚至尝试了2048m,但仍然出错。这是一个小的php脚本,不到100行。过去我在不编辑-J-Xmx或其他任何东西的情况下格式化10,000多行没有问题。我没有运行任何代码或调试或单元测试或任何东西,只是内置的Source->Format。我已尝试删除代码以查看是否存在导致问题的特定部分。据我所知,如果我添加一个控制

php - 如何诊断这些 PHP-Code-Coverage segmentation 和 zend_mm_heap corrupted 错误

我一直在我的Ubuntu机器上愉快地编码。这是一台具有大量RAM的强大机器。我正在研究4个新类(class),同时编写和运行单元测试。在某些时候,我注意到,虽然单元测试完成得很好,但代码覆盖率却不是。在消息“生成代码覆盖率报告...等等”之后,我会收到一条消息说zend_mm_heap已损坏。我尝试了一些修复,包括:在我的php.ini(apache2和cli)中设置output_buffering=On,并从我的代码中删除对unset()的调用。(我继续阅读,因此可能需要修复这些问题)。现在,无论我做什么,我似乎都在zend_mm...错误和段错误(核心转储)错误之间交替。我注释掉测