是否有任何可能的方法使用NiFi处理器将facebook数据提取到hdfs?到目前为止,我什至没有找到关于这个案例的单一来源或样本......如果可能的话?程序是什么? 最佳答案 您应该能够使用HTTP处理器(GetHttp、PostHttp、InvokeHttp)与FacebookAPI交互。对于OpenGraphAPI(可能还有其他API),您需要HTTPS,因此您必须设置SSL上下文等。https://community.hortonworks.com/questions/20424/add-certificates-face
在MFA处于事件状态时,是否可以使用NiFi处理器PutS3Object将数据写入S3存储桶?如果没有,考虑将数据从hive/HDFS写入S3的替代方案是什么? 最佳答案 从1.8.0版开始,我认为ApacheNiFi*S3Object处理器(或AWSCredentialsProviderControllerService)不支持此功能。我建议在Jirasite上打开功能请求票.您可以使用以下选项之一立即完成此操作:使用ExecuteStreamCommand或ExecuteProcess调用终端命令或shell脚本使用AWSS3C
下面是我用0300**尝试过的语法?或0301**?,应分别在午夜12:30或1:30运行。我也厌倦了每20分钟在nifi中使用cron运行一次流程,它工作得很好。但我们希望它每天在特定时间运行一次,如上述示例(0300**?或0301**?)。但它不起作用。任何人都可以请指导。谢谢。 最佳答案 艾哈迈德您已使用以下cron表达式在每天中午12:30运行处理器030121/1*?*在这里查看:http://www.cronmaker.com/ 关于hadoop-基于Nifi处理器cron
我正在尝试从NiFi的DBCP连接池连接到kerberos集群上的Phoenix。但未能创建JDBC驱动程序。数据库连接URL:jdbc:phoenix:namenode1.KTCPS08232017.ONMICROSOFT.COM:8765:nn_AzureClu/namenode@KTCPS08232017.ONMICROSOFT.COM:C:\Hadoop_Conf\nn_AzureClu.keytab 最佳答案 基于thisHCCpost,有一个解决方法:改用Phoenix查询服务器和JDBC瘦客户端。它不需要任何hadoo
在我的场景中,用户可以选择上传CSV文件并可以将该CSV文件的列映射到预定义的架构。我需要根据用户映射重新排序该CSV文件的列并将其上传到HDFS。有什么办法可以通过NIFI处理器来实现吗? 最佳答案 您可以使用ConvertRecord处理器完成此操作。在架构注册表(Controller服务)中注册一个描述预期格式的Avro架构,并创建一个CSVReader实现以将此传入数据转换为通用的ApacheNiFi内部记录格式。同样,将CSVRecordSetWriter与您的输出架构一起使用,以您喜欢的任何列顺序将数据写回CSV。有关记
我在自己的定制处理器上进行设计。我用简单的非空验证器向其中添加了几个简单的属性描述符。我一直在寻找一个验证器,通过它我可以将多个值添加到一个属性描述符中。如下所示。我的属性描述符将具有多值选择选项。有谁知道我怎样才能实现它? 最佳答案 不支持单个属性描述符的多值选择。很想更好地理解用例。现在,您当然可以拥有许多属性,甚至支持动态生成(在运行时)的属性。谢谢乔 关于hadoop-ApacheNifi处理器中的多值选项,我们在StackOverflow上找到一个类似的问题:
我在使用ApacheNifi时遇到问题。有没有办法在ExecuteSQL处理器完成获取表中的所有数据后停止它,而不是重复获取直到我手动停止它? 最佳答案 通常,处理器应该通过其调度选项卡按某个频率进行调度。具有传入关系的图中间的处理器通常将其调度保留在0秒,这意味着在数据排队时尽可能快地运行。源处理器通常在基于定时器驱动程序或Cron驱动调度的某个时间间隔内运行。话虽这么说...ExecuteSQL支持由传入的流文件触发,因此您可以做一些事情,例如在ExecuteSQL前面放置一个ListenHTTP处理器,并且每当您想要触发它时,
我创建了3个进程组。我希望在第一个流程组完成后执行第二个流程组,在第二个流程组完成后执行第三个流程组。请问有什么解决办法吗?? 最佳答案 最佳做法是将“等待”和“通知”处理器配对在一起,以便在其他流发送通知事件之前不会释放任何具有严格等待条件的流。在您的示例中,“进程组1”将负责发送Notify消息,而“进程组2和3”将各自具有相应的Wait处理器,这些处理器基本上循环直到第一个进程组发送它已完成的通知。 关于hadoop-apachenifi-如何一个接一个地执行进程组,我们在Stac
当我尝试使用PutHDFS处理器将文件放在HDFS上时出现以下错误:我使用HortonWorks沙箱HDP和HDF(Windows上的docker容器)。好像是Nifi的问题,HDFS没问题,可以放/写/读。我正在尝试修复此问题但没有结果,我已经删除了docker的HDP镜像并获得了一个新的,但也没有结果。 最佳答案 通常,该错误意味着写入HDFS的任何内容都能够到达名称节点,但无法到达数据节点。在您的情况下,这很可能是两个容器之间的网络配置问题。您可以通过从场景中消除NiFi并在运行NiFi的容器上安装Hadoop客户端来测试这一
我使用GetHTTPS-->UpdateAttribute-->PutHDFS流程以便每隔30秒从API读取json文件并将文件放入HDFS。第二步使用当前日期/时间戳更改文件名属性,这样我们就不会发生相同的文件名冲突。到目前为止我已经尝试过:${filename:prepend(${now():format("yyyy-MM-dd-HH:mm:ss")})}这导致:错误PutHDFS由于java.lang.IllegalArgumentException:java.net,无法写入HDFS。URISyntaxException:绝对URI中的相对路径:.2017-08-01-11:0