草庐IT

spark-streaming-kafka

全部标签

windows - 如何在 Windows 10 上逐步设置 Spark

我尝试在Windows10上设置spark,在堆栈溢出方面发现了很多好的解决方案。因此,我正在尝试结合所有解决方案并创建标准化的安装步骤 最佳答案 安装前需要下载以下内容:JAVAJDK-http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htmlSBT和Scala-https://www.scala-lang.org/download/Winutils.exe-https://github.com/steveloughran/

windows - 如何在 Windows 上访问 Spark 中的本地文件?

我在Windows上使用Spark。我知道在*nix中,访问本地文件代码是这样的:valtextFile=sc.textFile("file:///usr/local/spark/README.md")但是如何在Windows上访问本地文件?我尝试了以下方法:vallogFile="C:\spark-1.3.1-bin-hadoop2.4\README.md"vallogFile="file\\C:\spark-1.3.1-bin-hadoop2.4\README.md"但都行不通。 最佳答案 不幸的是,在Windows中你必须转义

php - 在 Windows 上安装 codeigniter sparks 管理器

已解决,请阅读帖子底部:我正在尝试按照officialinstructions在Windows上安装Sparks包管理器.发出此命令:php-r"$(curl-fsSLhttp://getsparks.org/go-sparks)"导致此错误消息:Parseerror:syntaxerror,unexpected':'inCommandlinecodeonline1如果我只在上述行中执行curl命令,即:curl-fsSLhttp://getsparks.org/go-sparks它回显位于URL上的php脚本。所以我认为问题是将curl输出管道传输到PHP以某种方式失败。我尝试了几种

PHP stream_select 不起作用

我使用的是Windows7和php5。我在通过proc_open执行进程并检查超时时遇到问题。我使用stream_select通过以下代码检查超时:array("file",$infile,"r"),//stdinisapipethatthechildwillreadfrom1=>array("pipe","w"),//stdoutisapipethatthechildwillwriteto2=>array("pipe","w")//stderrisafiletowriteto);$prog=@proc_open($objname.".exe",$descriptorspec,$pip

windows - 没有 docker-compose 的 Docker 上的 Kafka?

我想使用Docker在我的本地计算机(Windows7)上设置kafka单一代理。本质上,我使用了此链接中列出的步骤:ApacheKafkaonDocker然后,我可以通过运行以下命令来创建主题:kafka-topics.bat--create--zookeeper192.168.59.103:32769--replica1--partition1--topictest这创建了主题,因为当我做list-topics时,它显示正确。接下来,我尝试使用kafka-console-producer.bat文件发布消息,当我这样做并在输入消息后按回车键时,出现以下异常:[2015-08-021

java - 使用 Java 8 在 Windows 上调试 spark 进程

我可以使用cmd.exe中的命令在Windows上运行spark:setCLASS=org.apache.spark.deploy.SparkSubmit%SPARK_HOME%\bin\spark-class2.cmd%CLASS%--class"com.sel2in.TstFac"--masterlocal[4]target\scala-2.11\theApp_2.11-1.0.jar在spark-class2.cmd中要添加远程调试选项:setJOPTS=setJOPTS=-agentlib:jdwp=transport=dt_socket,server=y,address=80

windows - 由于未加载主题,Kafka 启动失败

在here的帮助下,我在Windows机器上设置了Kafka服务器和zookeeper.我成功地设置了一个主题-MTETest,如下面的日志所示,生成并使用该主题的消息。在尝试使用管理员命令提示符下安装附带的批处理文件停止和启动Kafka和Zookeeper时,我遇到了一个问题,即kafka服务器无法启动并显示以下消息-[2017-11-3021:26:24,601]ERRORTherewasanerrorinoneofthethreadsduringlogsloading:java.nio.file.FileSystemException:C:SourceKafkakafka_2.1

windows - Spark WindowedApplication,监听keyUp事件

我有一个WindowedApplication,我需要监视keyUp以便我可以在按下转义键时关闭应用程序。但是,我的代码不起作用:似乎这个事件根本没有触发,我什至试图覆盖keyUpHandler并追踪一些信息,但没有。 最佳答案 我找到了thissimilarquestion在Adob​​e论坛上,它帮助解决了问题。我通过监听applicationComplete然后在处理程序中将keyUp监听器附加到stage来解决。 关于windows-SparkWindowedApplicatio

c - 如何同时处理来自 Stdin Stream 的两个输入,其中一个来自 C 中的数字键盘?

我希望我的程序同时从标准输入流中读取数字键盘和键盘。我不知道这是否可能,这就是我问的原因。我的程序运行正常,但是如果第一个玩家仍然按下箭头,第二个玩家不能通过同时按下z/x来移动Racket,除非第一个玩家停止按下箭头。#include#include#includevoidfirst_player_arrow_press();voidsecond_player_Z_or_X_press();void*second_player();intarrow=0,button_pressed=0;intz=50;intmain(){pthread_tmy_thread;intx=50;char

java - 无法在 Windows 10 上设置 Apache Spark 2.1.1

我已经在Windows10上安装了ApacheSpark2.1.1,Java1.8和Python版本3.6Anaconda4.3.1。我还下载了JAVA_HOME、HADOOP_HOME和SPARK_HOME的winutils.exe和设置环境变量,并更新了路径变量。我还运行了winutils.exechmod-R777\tmp\hive。但是在cmd提示符下运行pyspark时出现以下错误。请有人帮忙,如果我遗漏了任何重要细节,请告诉我提前致谢!c:\Spark>bin\pysparkPython3.6.0|Anaconda4.3.1(64-bit)|(default,Dec2320