草庐IT

NiFi【部署 01】NiFi最新版本1.18.0下载安装配置启动及问题处理（一篇学会部署NiFi）

シ風箏 2023-10-08 原文

Apache NIFI中文文档 地址：https://nifichina.github.io/

1.简介

官网的介绍：

An easy to use, powerful, and reliable system to process and distribute data.
一个易用、功能强大、可靠的处理和分发数据的系统。

来自网络的介绍：

  • 2006年由美国国家安全局（NSA）的Joe Witt创建，之后在2014年贡献给Apache社区，随后在2015 年成为Apache顶级项目之一。
  • 是一个易于使用、功能强大而且可靠的流式数据处理和分发系统。
  • 是为数据流设计，支持从多种数据源动态的拉取数据，并基于WEB图形界面，通过拖拽、连接、配置完成基于流程的编程，实现数据采集、处理等功能。
  • 目前，NiFi 社区活跃度非常高，其中 Cloudera 是最大的贡献者，仅2020年就发布了7个版本。NiFi 作为一个致力于数据对接的集成框架在物联网IOT和大数据领域得到很多公司的青睐。我数了一下，截止2022年10月发布的版本也已经7个了。

2.下载安装配置启动

  • 最近的两个版本（下载页面）：https://nifi.apache.org/download.html
  • 全版本（下载页面）：https://archive.apache.org/dist/nifi/
  • 官方（文档）：https://nifi.apache.org/docs.html

2.1 下载

本次选择最新版本1.18.0进行下载安装：

2.2 安装

# 解压文件
unzip nifi-1.18.0-bin.zip

2.3 配置

# 配置环境变量
cat <<'EOF' > /etc/profile.d/nifi.sh
export NIFI_HOME=/usr/local/nifi-1.18.0
export PATH=$PATH:${NIFI_HOME}/bin
EOF
sleep 1
source /etc/profile.d/nifi.sh

# 修改https的host和port
nifi.web.https.host=tcloud
nifi.web.https.port=58080


更多配置根据业务需求进行设置，这里暂时不进行详细的说明。

2.4 启动

# 添加到服务
nifi.sh install

# 前台启动
nifi.sh run
# 后台启动
nifi.sh start
# 启动信息
Java home: /usr/local/java/jdk1.8.0_241
NiFi home: /usr/local/nifi-1.18.0

Bootstrap Config File: /usr/local/nifi-1.18.0/conf/bootstrap.conf

# 查看
jps
# 查看结果
9353 NiFi
9326 RunNiFi
9375 Jps

# 查看启动日志
tail -f ${NIFI_HOME}/logs/nifi-app.log

首次启动时${NIFI_HOME}/logs/nifi-app.log日志会打印默认的登录用户和密码：

2.5 登录

登录页面：

首次登录成功：

3.问题处理

3.1 host及port配置

仅配置http时会报错：Remote input HTTPS is enabled but nifi.web.https.port is not specified.

# 仅配置HTTP
Caused by: java.lang.RuntimeException: 
Remote input HTTPS is enabled but nifi.web.https.port is not specified.

http和https都配置则报错：Both nifi.web.https.port and nifi.web.http.port specified

# HTTP和HTTPS都进行配置
java.lang.IllegalStateException: 
Invalid port configuration in nifi.properties: 
Both nifi.web.https.port and nifi.web.http.port specified

在Linux服务器上https使用默认的host127.0.0.1web页面将无法访问。需要配置为hostname映射的ip地址：

INFO [main] org.apache.nifi.web.server.JettyServer NiFi has started. The UI is available at the following URLs:
INFO [main] org.apache.nifi.web.server.JettyServer https://tcloud:58080/nifi

3.2 Username和Password

首次启动时${NIFI_HOME}/logs/nifi-app.log日志会打印默认的登录用户和密码：

但是这个用户名和密码都是很长不容易记忆的，一下是官网设置密码的方法：


实践：

# 官方命令
$ ./bin/nifi.sh set-single-user-credentials <username> <password>

# 实例
[root@tcloud nifi-1.18.0]# ./bin/nifi.sh set-single-user-credentials admin admin12345678

# 打印的信息
Java home: /usr/local/java/jdk1.8.0_241
NiFi home: /usr/local/nifi-1.18.0

Bootstrap Config File: /usr/local/nifi-1.18.0/conf/bootstrap.conf

Login Identity Providers Processed [/usr/local/nifi-1.18.0/./conf/login-identity-providers.xml]

可以看到login-identity-providers.xml内的用户名已经修改，密码是加密后的。


特别注意：密码修改后重启服务才能生效。

# 由于配置过环境变量 我们可以在任意路径使用 NiFi 的命令
nifi.sh restart

4.总结

部署简单，官网说明详细，至此部署成功。

编辑列表：

  • 20221123 添加中文文档链接。
NiFi部署spanclasstoken大数据数仓数据迁移ETL

有关NiFi【部署 01】NiFi最新版本1.18.0下载安装配置启动及问题处理（一篇学会部署NiFi）的更多相关文章

  1. ruby - i18n Assets 管理/翻译 UI - 2

    我正在使用i18n从头开始​​构建一个多语言网络应用程序，虽然我自己可以处理一大堆yml文件，但我说的语言(非常)有限，最终我想寻求外部帮助帮助。我想知道这里是否有人在使用UI插件/gem(与django上的django-rosetta不同)来处理多个翻译器，其中一些翻译器不愿意或无法处理存储库中的100多个文件，处理语言数据。谢谢&问候，安德拉斯(如果您已经在ruby​​onrails-talk上遇到了这个问题，我们深表歉意) 最佳答案 有一个rails3branchofthetolkgem在github上。您可以通过在Gemfi

  2. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

  3. ruby-on-rails - Rails 3 I18 : translation missing: da. datetime.distance_in_words.about_x_hours - 2

    我看到这个错误:translationmissing:da.datetime.distance_in_words.about_x_hours我的语言环境文件:http://pastie.org/2944890我的看法:我已将其添加到我的application.rb中:config.i18n.load_path+=Dir[Rails.root.join('my','locales','*.{rb,yml}').to_s]config.i18n.default_locale=:da如果我删除I18配置，帮助程序会处理英语。更新:我在config/enviorments/devolpment

  4. ruby - 完全离线安装RVM - 2

    我打算为ruby​​脚本创建一个安装程序，但我希望能够确保机器安装了RVM。有没有一种方法可以完全离线安装RVM并且不引人注目(通过不引人注目，就像创建一个可以做所有事情的脚本而不是要求用户向他们的bash_profile或bashrc添加一些东西)我不是要脚本本身，只是一个关于如何走这条路的快速指针(如果可能的话)。我们还研究了这个很有帮助的问题:RVM-isthereawayforsimpleofflineinstall?但有点误导，因为答案只向我们展示了如何离线在RVM中安装ruby。我们需要能够离线安装RVM本身，并查看脚本https://raw.github.com/wayn

  5. ruby-on-rails - rails 目前在重启后没有安装 - 2

    我有一个奇怪的问题:我在rvm上安装了ruby​​onrails。一切正常，我可以创建项目。但是在我输入“railsnew”时重新启动后，我有“程序'rails'当前未安装。”。SystemUbuntu12.04ruby-v"1.9.3p194"gemlistactionmailer(3.2.5)actionpack(3.2.5)activemodel(3.2.5)activerecord(3.2.5)activeresource(3.2.5)activesupport(3.2.5)arel(3.0.2)builder(3.0.0)bundler(1.1.4)coffee-rails(

  6. ruby - 如何为 emacs 安装 ruby​​-mode - 2

    我刚刚为fedora安装了emacs。我想用emacs编写ruby。为ruby​​提供代码提示、代码完成类型功能所需的工具、扩展是什么？ 最佳答案 ruby-mode已经包含在Emacs23之后的版本中。不过，它也可以通过ELPA获得。您可能感兴趣的其他一些事情是集成RVM、feature-mode(Cucumber)、rspec-mode、ruby-electric、inf-ruby、rinari(用于Rails)等。这是我当前用于Ruby开发的Emacs配置:https://github.com/citizen428/emacs

  7. ruby-on-rails - 无法在centos上安装therubyracer(V8和GCC出错) - 2

    我正在尝试在我的centos服务器上安装therubyracer，但遇到了麻烦。$geminstalltherubyracerBuildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingtherubyracer:ERROR:Failedtobuildgemnativeextension./usr/local/rvm/rubies/ruby-1.9.3-p125/bin/rubyextconf.rbcheckingformain()in-lpthread...yescheckingforv8.h...no***e

  8. ruby - 如何使用 Ruby aws/s3 Gem 生成安全 URL 以从 s3 下载文件 - 2

    我正在编写一个小脚本来定位aws存储桶中的特定文件，并创建一个临时验证的url以发送给同事。(理想情况下，这将创建类似于在控制台上右键单击存储桶中的文件并复制链接地址的结果)。我研究过回形针，它似乎不符合这个标准，但我可能只是不知道它的全部功能。我尝试了以下方法:defauthenticated_url(file_name,bucket)AWS::S3::S3Object.url_for(file_name,bucket,:secure=>true,:expires=>20*60)end产生这种类型的结果:...-1.amazonaws.com/file_path/file.zip.A

  9. ruby - 通过 RVM (OSX Mountain Lion) 安装 Ruby 2.0.0-p247 时遇到问题 - 2

    我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止，这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search

  10. ruby - 如何在 Lion 上安装 Xcode 4.6，需要用 RVM 升级 ruby - 2

    我实际上是在尝试使用RVM在我的OSX10.7.5上更新ruby，并在输入以下命令后:rvminstallruby我得到了以下回复:Searchingforbinaryrubies,thismighttakesometime.Checkingrequirementsforosx.Installingrequirementsforosx.Updatingsystem.......Errorrunning'requirements_osx_brew_update_systemruby-2.0.0-p247',pleaseread/Users/username/.rvm/log/138121

随机推荐