草庐IT

heavy-computation

全部标签

c++ - 如何在 Skylake 架构上最大化 sqrt-heavy-loop 的指令级并行性?

为了向自己介绍x86内在函数(以及较小程度上的缓存友好性),我明确矢量化了一些用于基于RBF(径向基函数)的网格变形的代码。发现vsqrtpd是主要瓶颈后,我想知道是否/如何进一步掩盖其延迟。这是标量计算内核:for(size_ti=0;inPt是目标坐标的数量,它比nCP是源坐标/位移的数量大得多。后者适合L3,因此最内层的循环总是在源点上。第一个优化步骤是同时处理4个目标点。源点数据仍然通过标量加载然后广播访问。第二步是通过阻止循环来瞄准L1,阻止i-loop在某种程度上比阻止j-loop重要得多,j-loop只带来了微小的改进。最内层循环仍在j之上以减少负载/存储。第三是加载4个

hadoop - Google Compute Engine 问题上的 Spark SQL

我们正在使用bdutil1.1部署Spark(1.2.0)集群。但是,我们在启动spark脚本时遇到了问题:py4j.protocol.Py4JJavaError:Anerroroccurredwhilecallingo70.registerTempTable.:java.lang.RuntimeException:java.lang.RuntimeException:Unabletoinstantiateorg.apache.hadoop.hive.metastore.HiveMetaStoreClientatorg.apache.hadoop.hive.ql.session.Ses

java - Google Compute Engine 上 Hadoop 中的标准输出

我正在尝试调试在GoogleComputeEngine上的Hadoop上运行的程序作为.jar文件。我尝试在reducer代码中同时使用System.out.println()和context.write()进行调试输出,但无法在任何地方找到它们的输出。我能找到的唯一日志是我的Google存储桶gs:/my_bucket/yarn-logs/my_name/logs/application_#####中的日志和存储在$hadoop_install_dir$中的本地日志/logs/但它们都没有我正在寻找的输出。在以前的日志中,我可以看到我的log4j没有正确初始化,但我不确定这是否是问题

hadoop - Google Compute 引擎中的职位跟踪 URL 不起作用

我正在使用GoogleComputeEngine在Hadoop上运行Mapreduce作业(几乎所有默认配置)。在运行作业时,我得到一个形式为http://PROJECT_NAME:8088/proxy/application_X_Y/的跟踪URL但它无法打开。我是不是忘记配置什么了? 最佳答案 要详细说明在使用GoogleComputeEngineVM的“外部IP地址”的其他答案中提到的选项Amal,您可以通过运行gcloudcomputeinstancesdescribe--zone来获取外部IP地址。并寻找natIP.要打开端

hadoop - 无法在 Google Compute Engine 中安装 Hadoop

当我尝试从谷歌计算引擎“部署ApacheHadoop”时,我收到一条消息“部署将超过us-central1的CPU配额。限制:8。减少使用,选择另一个区域中的区域,或者请求增加配额。”我尝试了所有区域。它仍然无法正常工作。 最佳答案 如果您使用的是GCE免费试用版,则限制为8个并发CPU内核。这对所有地区和地区都是如此,因此尝试在不同的地区并不能解决这个问题。要运行更大的部署,您需要升级到付费帐户。或者,您可以使用GoogleCloudDataproc或bdutil至deployaHadoopcluster并选择一些较小的实例类型,

scala - SparkPi 程序在 Yarn/Spark/Google Compute Engine 下保持运行

在GoogleComputeEngine上部署了一个Hadoop(Yarn+Spark)集群,其中有一个主节点和两个从节点。当我运行以下shell脚本时:spark-submit--classorg.apache.spark.examples.SparkPi--masteryarn-cluster--num-executors1--driver-memory1g--executor-memory1g--executor-cores1/home/hadoop/spark-install/lib/spark-examples-1.1.0-hadoop2.4.0.jar10作业一直在运行,每

java - 在 Google Compute Engine 上成功安装 Oryx?

我正在尝试在GoogleComputeEngine上启动并运行Oryx。我创建了一个新实例并通过以下方式安装了Oryx:gitclonehttps://github.com/cloudera/oryx.gitcdoryxmvn-DskipTestsinstall并将此安装保存为GoogleComputeEngine上的图像(“oryx-image”)。查找Oryx和Google文件系统的问题(Hadoop2.4.1andGoogleCloudStorageconnectorforHadoop)我一直在使用hdfs://作为默认文件系统。发现在GoogleComputeEngine上启动

hadoop - hadoop 集群上的 gcloud compute 权限不足

我在开发控制台上使用点击部署机制安装了hadoop集群。我对自定义设置做了一些修改,例如机器种类,机器数量。集群已部署。但是现在当我登录到master并运行以下命令时sudogcloudcompute防火墙规则列表我收到错误:权限不足我检查了主节点的权限,我看到了这个:权限用户信息-禁用,计算障碍存储满任务队列-禁用BigQuery-禁用CloudSQL-已禁用云数据存储-禁用云平台-禁用当我启动一个单独的虚拟机时,我可以为这些方面启用它的权限,但是当我启动一个集群时,我不能。这是我在hadoopmaster上看到权限错误的原因吗?如何修复?更多背景:我需要启用防火墙端口,以便我可以使

php - PEAR 是 "heavy"吗?

我最近一直在使用需要PEAR的PHPUnit。我提到PEAR的每个PHP开发人员似乎都认为它是一大堆笨拙的代码。真相是什么?对我来说,PEAR就像任何其他库一样,除非您决定包含和使用大量功能,否则它不会减慢您的代码速度。虽然我没有理由在生产环境中使用PEAR,但我很想知道对它的一般共识意见是什么,以防万一我可能会考虑将它用于生产项目。 最佳答案 pear并不“重”,这取决于你在做什么。一些pear库可能设计过度,但作为一个整体,它一点也不差。当您需要一两个库而不是整个框架时,可以使用它。但是,如果您需要一组一致且大规模的库,我建议为

php - "Heavy"并发用户数 Nginx - Laravel - Google 计算引擎

我正在使用Laravel(中等静态Web)在nginx中运行一个服务器,我正在做例如500constantload1分钟内的并发用户(不是那一分钟内的分布式用户)。出现这个错误:unix:/var/run/php/php7.1-fpm.sockfailed-Resourcetemporarilyunavailablecginx.confworker_processesauto;events{useepoll;worker_connections1524;#inmycaseitshouldbe1024,butwell..multi_accepton;}http{#withthisIred