草庐IT

Zeppelin

全部标签

windows - 为什么 Zeppelin 0.6.2 笔记本在 Windows 上使用 Spark 2.0 失败并显示 "The input line is too long"?

我在带有Spark2.0的Windows中运行Zeppelin0.6.2SPARK_HOME=C:\Users\anbarasu.r\Desktop\Archive\spark-2.0.0-bin-hadoop2.6JavaHotSpot(TM)64-BitServerVMwarning:ignoringoptionMaxPermSize=512m;supportwasremovedin8.0SLF4J:ClasspathcontainsmultipleSLF4Jbindings.SLF4J:Foundbindingin[jar:file:/C:/Users/anbarasu.r/De

javascript - 将 d3.js 与 Apache Zeppelin 结合使用

我正在尝试通过将ApacheZeppelin与d3.js集成来为它添加更多可视化选项我找到了一个例子,有人用leaflet.js做到了here,并尝试做类似的事情——不幸的是我不太熟悉angularJS(Zeppelin用来解释前端语言的东西)。我也没有流式传输数据。下面是我的代码,仅使用d3.js中的一个简单教程示例%angularfunctionuseD3(){vardata=[4,8,15,16,23,42];varwidth=420,barHeight=20;varx=d3.scale.linear().domain([0,d3.max(data)]).range([0,wid

Flink on Zeppelin (4) – 机器学习篇

今天我来讲下如何在Zeppelin里做机器学习。机器学习的重要性我就不多说了,我们直奔主题。Flink在机器学习这个领域发力较晚,社区版没有一个完整的机器学习算法库可以用,Alink[1]是目前Flink生态圈相对比较完整的机器学习算法库,Alink也在往Flink社区贡献的路上。今天我主要讲的就是如何在Zeppelin里使用Alink。为什么在Zeppelin平台使用AlinkZeppelin已经很好的集成了Flink,在Zeppelin中使用Alink可以充分利用Zeppelin集成Flink所提供的特性,包括:支持丰富的执行模式:Local/Remote/Yarn支持对接Hive支持UD

Apache Zeppelin无法显示MongoDB的数据,但插入查询正常工作

ApacheZeppelin无法显示MongoDB的数据,但插入查询工作正常。我正在遵循此步骤,以使MongoDB解释器在这里是链接-https://github.com/bbonnin/zeppelin-mongodb-interpreter请帮助我在Zeppelin笔记本上显示数据。看答案db.tablename.find({}).table()在笔记本中查询:它将起作用%Smart_mongodbdb.user.find({}).table()

Zeppelin:使用SQL查询数据并与之合作的最佳方法是什么?

我想使用Zeppelin来查询数据库。我目前看到两种可能性,但它们都不适合我:将数据库连接配置为“解释器”,命名“SQL1”,在段落中使用它,运行SQL查询并使用内置的NICE绘图工具。似乎所有的教程和提示都在处理它,但随后文档突然停止了!但是我想对数据做更多的事情:我想过滤和处理。如果我想再次绘制它(其他限制),我必须再次进行查询(可能持续几秒钟或几分钟)(请参阅我的其他问题ZeppelinSQL:无需其他解释器或新查询的查询数据的重用数据)将火花与Python,Scala或类似。但是,该文档似乎仅加载CSV数据,并放入数据框架,然后使用SQL访问此数据框。首先没有使用SQL访问数据。如何以

低价大甩卖?多次攻击美国基础设施的勒索软件Zeppelin仅500美元出售

据BleepingComputer消息,一名黑客在某网络犯罪论坛上发帖,以500美元的超低价格出售Zeppelin勒索软件构建器的源代码和破解版本,该软件曾多次针对美国关键基础设施企业和组织发起攻击。卖家KELA贴出的勒索软件截图据发现该贴子的威胁情报公司 KELA称,如此低的价格虽然不确定其中是否存在“套路”,但这位昵称为“RET”的卖家屏幕截图表明他确实获得了该勒索软件的代码。RET称他并未参与编写该恶意软件,而只是设法破解了该软件的构建器版本,并解释是在没有获得许可的情况下得到了该软件包。Zeppelin勒索软件是VegaLocker的衍生品,VegaLocker是一种用Delphi编程

hadoop - 以不同用户身份运行 Apache Zeppelin

如何以与启动该过程的用户不同的用户身份运行Zeppelin解释器?我想以“root”身份运行Zeppelin,然后以“admin”用户身份启动spark应用程序 最佳答案 您可以像当前一样继续运行Zeppelin,但以该管理员用户身份单独启动Spark进程。Spark解释器可以指向外部主机。打开Zeppelin解释器配置并更改spark主配置key的值,将其指向由管理员用户启动的实例。换句话说,你有一个spark进程:#Firstrunsparkasadmin:$/path/to/spark/sbin/start-all.sh#Th

apache-spark - Spark Interpreter 在 Zeppelin 中不起作用

我正在使用Zeppelin0.7.0来运行Spark作业。我的Zeppelin是独立安装的,而Spark是使用Hortonworks/Ambari(版本2.6)安装的。当我在Ambari中检查Spark的状态时,它全是绿色的。对于许多解释器来说,Zeppelin也运行良好。但是Spark解释器不起作用。我尝试做的任何事情,甚至像sc.version这样简单的事情都会给出完全相同的错误:java.lang.NullPointerExceptionatorg.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38)atorg.apach

python - 在 Zeppelin 上增加 Spark Executors

我正在使用Hortnworks(HDP2.4)设置集群。我有一个4节点集群,每个节点都有(16Gb-RAM,8-CPU)。为了使用python(pyspark),我还在ZeppelinNotebook上安装了Spark。我的问题是:我从3个节点的配置开始,后来我添加了另一个新节点(如前所述总共4个),无论如何Spark上的执行者数量仍然是“3”。我在网上看到执行者的数量可以在SPARK_EXECUTOR_INSTANCES中设置,但是这个参数只存在于Spark的配置页面的spark-envtemplate中安巴里用户界面。似乎它需要YARN来决定执行者,但在YARN中我还没有找到任何关

hadoop - 在 docker 容器上的 zeppelin 中运行 spark 时找不到 lzo

我正在尝试将spark代码运行到zeppelin中,我得到了这个:java.lang.ClassNotFoundException:找不到类com.hadoop.compression.lzo.LzoCodeczeppelinembeddedspark和我自己安装的sparkshell(1.6.3)存在同样的问题session:来自debian:jessie的docker容器zeppelin版本:0.6.2(从tar安装而不是从源代码构建)cdh版本:5.9.0容器上安装了liblzo2-dev和hadoop-lzoSPARK_HOME和HADOOP_HOME被设置为环境变量,也在co