草庐IT

大数据 | 实验一:大数据系统基本实验 | 常用的 Linux 操作和 Hadoop 操作

啦啦右一 2023-05-03 原文

文章目录


📚cd命令:切换目录

1.切换到目录/usr/local

2.切换到当前目录的上一级目录

3.切换到当前登录Linux系统的用户自己的主文件夹

cd /usr/local
cd ..
cd /home

📚ls命令:查看文件与目录

查看目录/usr下的所有文件和目录

cd /usr
ls

📚mkdir命令:新建目录

进入/tmp 目录,创建一个名为 a 的目录,并查看/tmp 目录下已经存在哪些目录

cd /tmp
mkdir a
ls

进入/tmp 目录,创建目录 a1/a2/a3/a4

mkdir a1
cd a1
mkdir a2
cd a2
mkdir a3
cd a3
mkdir a4
cd a4

📚rmdir命令:删除空的目录

将上面创建的目录 a(在/tmp 目录下面)删除。删除上面创建的目录 a1/a2/a3/a4(在/tmp 目录下面),然后查看/tmp 目录下面存在哪些目录。

rmdir a
rmdir a1/a2/a3/a4
rmdir a1/a2/a3
rmdir a1/a2
rmdir a1
ls

📚cp命令:复制文件或目录

将当前用户的主文件夹下的文件.bashrc 复制到目录“/usr”下,并重命名为 bashrc1

sudo cp ~/.bashrc /usr/bashrc1

在目录“/tmp”下新建目录 test,再把这个目录复制到“/usr”目录下

cd /tmp
mkdir test
sudo cp -r /tmp/test /usr


-r:若给出的源文件是一目录文件,此时cp将递归复制该目录下所有的子目录和文件。此时目标文件必须为一个目录名

📚mv命令: 移动文件与目录,或更名

命令格式:mv [选项] 源文件或目录 目标文件或目录

主要选项参数:

  • -b:若需覆盖文件,则覆盖前先行备份
  • -f:force强制的意思,如果目标文件已经存在,不会询问而直接覆盖
  • -i:若目标文件已经存在时,会询问是否覆盖
  • -u:若目标文件已经存在,且source比较新,才会更新(update)

将“/usr”目录下的文件 bashrc1 移到“/usr/test”目录下

sudo mv /usr/bashrc1 /usr/test

将“/usr”目录下的 test 目录重命名为 test2

sudo mv /usr/test /usr/test2

📚rm命令:移除文件或目录

将“/usr/test2”目录下的 bashrc1 文件删除

sudo rm /usr/test2/bashrc1

将“/usr”目录下的 test2 目录删除

sudo rm -r /usr/test2


-r:递归处理,将指定用户下的所有文件与子目录一并处理

📚cat命令:查看文件内容

查看当前用户主文件夹下的.bashrc 文件内容

cat ~/.bashrc


截图只展示部分

📚tac命令:反向查看文件内容

反向查看当前用户主文件夹下的.bashrc 文件的内容

tac ~/.bashrc


按行反向输出

📚more 命令:一页一页翻动查看

翻页查看当前用户主文件夹下的.bashrc 文件的内容

more ~/.bashrc


用回车翻页

📚head 命令:取出前面几行

命令格式:head -n number 文件名

查看当前用户主文件夹下.bashrc 文件内容前 20 行

head -n 20 ~/.bashrc

查看当前用户主文件夹下.bashrc 文件内容,后面 50 行不显示,只显示前面几行

head -n -50 ~/.bashrc


对比发现,最后50行没显示


📚tail 命令:取出后面几行

查看当前用户主文件夹下.bashrc 文件内容最后 20 行

tail -n 20 ~/.bashrc

查看当前用户主文件夹下.bashrc 文件内容,并且只列出 50 行以后的数据

tail -n +50 ~/.bashrc

📚touch 命令:修改文件时间或创建新文件

在“/tmp”目录下创建一个空文件 hello,并查看文件时间

cd /tmp
touch hello
ls -l hello


ls的选项参数 -l,长数据串行出,包含文件的属性与权限等等数据(常用)

修改 hello 文件,将文件时间整为 5 天前

touch -d "5 days ago" hello

  • -a:只更改访问时间
  • -d:使用指定字符串表示时间而非当前时间
  • -m:只更改修改时间

📚chown 命令:修改文件所有者权限

将 hello 文件所有者改为 root 帐号,并查看属性

sudo chown root /tmp/hello

📚find 命令:文件查找

找出主文件夹下文件名为.bashrc 的文件

find ~ -name .bashrc

  • -name:按文件名查找文件
  • -perm:按照文件权限来查找文件
  • -usr:按照文件属主来查找文件
  • -group:按照文件所属的组来查找文件

📚tar 命令:压缩命令

在根目录“/”下新建文件夹 test,然后在根目录“/”下打包成 test.tar.gz

cd /
sudo mkdir /test
sudo tar -zcv -f /test.tar.gz test

把上面的 test.tar.gz 压缩包,解压缩到“/tmp”目录

tar -zxv -f /test.tar.gz -C /tmp

📚grep 命令:查找字符串

从“~/.bashrc”文件中查找字符串’examples’

grep -n 'example' ~/.bashrc

📚 用hadoop用户登录linux系统

Hadoop异常解决:Unable to load native-hadoop library

vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
->
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"

使用 hadoop 用户登录 Linux 系统,启动 Hadoop(Hadoop 的安装目录为“/usr/local/hadoop”),为 hadoop 用户在 HDFS 中创建用户目录“/user/hadoop”

cd /usr/local/hadoop
./sbin/start-dfs.sh
./bin/hdfs dfs -mkdir -p /usr/hadoop

接着在 HDFS 的目录“/user/hadoop”下,创建 test 文件夹,并查看文件列表

cd /usr/local/hadoop
./bin/hdfs dfs -mkdir test
./bin/hdfs dfs -ls

将 Linux 系统本地的“~/.bashrc”文件上传到 HDFS 的 test 文件夹中,并查看 test

cd /usr/local/hadoop
./bin/hdfs dfs -put ~/.bashrc test
./bin/hdfs dfs -ls test

将 HDFS 文件夹 test 复制到 Linux 系统本地文件系统的“/usr/local/hadoop”目录下

cd /usr/local/hadoop
./bin/hdfs dfs -get test ./

有关大数据 | 实验一:大数据系统基本实验 | 常用的 Linux 操作和 Hadoop 操作的更多相关文章

  1. ruby-on-rails - Rails 常用字符串(用于通知和错误信息等) - 2

    大约一年前,我决定确保每个包含非唯一文本的Flash通知都将从模块中的方法中获取文本。我这样做的最初原因是为了避免一遍又一遍地输入相同的字符串。如果我想更改措辞,我可以在一个地方轻松完成,而且一遍又一遍地重复同一件事而出现拼写错误的可能性也会降低。我最终得到的是这样的:moduleMessagesdefformat_error_messages(errors)errors.map{|attribute,message|"Error:#{attribute.to_s.titleize}#{message}."}enddeferror_message_could_not_find(obje

  2. ruby - 解析 RDFa、微数据等的最佳方式是什么,使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作,但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式,例如使用这个yaml文件,它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  3. ruby - Ruby 有 `Pair` 数据类型吗? - 2

    有时我需要处理键/值数据。我不喜欢使用数组,因为它们在大小上没有限制(很容易不小心添加超过2个项目,而且您最终需要稍后验证大小)。此外,0和1的索引变成了魔数(MagicNumber),并且在传达含义方面做得很差(“当我说0时,我的意思是head...”)。散列也不合适,因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题,但我很想知道:Ruby标准库是否已经带有这样一个类? 最佳

  4. ruby - 我如何添加二进制数据来遏制 POST - 2

    我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_

  5. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

    无论您是想搭建桌面端、WEB端或者移动端APP应用,HOOPSPlatform组件都可以为您提供弹性的3D集成架构,同时,由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台(桌面/WEB/APP,而且某些客户端是“瘦”客户端)快速、方便地将数据接入到3D应用系统的解决方案,并且当访问数据时,在各个平台上的性能和用户体验保持一致,HOOPSPlatform将帮助您完成。利用HOOPSPlatform,您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品,HOOPSSDK包含的技术有:快速且准确的CAD

  6. 电脑0x0000001A蓝屏错误怎么U盘重装系统教学 - 2

      电脑0x0000001A蓝屏错误怎么U盘重装系统教学分享。有用户电脑开机之后遇到了系统蓝屏的情况。系统蓝屏问题很多时候都是系统bug,只有通过重装系统来进行解决。那么蓝屏问题如何通过U盘重装新系统来解决呢?来看看以下的详细操作方法教学吧。  准备工作:  1、U盘一个(尽量使用8G以上的U盘)。  2、一台正常联网可使用的电脑。  3、ghost或ISO系统镜像文件(Win10系统下载_Win10专业版_windows10正式版下载-系统之家)。  4、在本页面下载U盘启动盘制作工具:系统之家U盘启动工具。  U盘启动盘制作步骤:  注意:制作期间,U盘会被格式化,因此U盘中的重要文件请注

  7. 【鸿蒙应用开发系列】- 获取系统设备信息以及版本API兼容调用方式 - 2

    在应用开发中,有时候我们需要获取系统的设备信息,用于数据上报和行为分析。那在鸿蒙系统中,我们应该怎么去获取设备的系统信息呢,比如说获取手机的系统版本号、手机的制造商、手机型号等数据。1、获取方式这里分为两种情况,一种是设备信息的获取,一种是系统信息的获取。1.1、获取设备信息获取设备信息,鸿蒙的SDK包为我们提供了DeviceInfo类,通过该类的一些静态方法,可以获取设备信息,DeviceInfo类的包路径为:ohos.system.DeviceInfo.具体的方法如下:ModifierandTypeMethodDescriptionstatic StringgetAbiList​()Obt

  8. Unity 热更新技术 | (三) Lua语言基本介绍及下载安装 - 2

    ?博客主页:https://xiaoy.blog.csdn.net?本文由呆呆敲代码的小Y原创,首发于CSDN??学习专栏推荐:Unity系统学习专栏?游戏制作专栏推荐:游戏制作?Unity实战100例专栏推荐:Unity实战100例教程?欢迎点赞?收藏⭐留言?如有错误敬请指正!?未来很长,值得我们全力奔赴更美好的生活✨------------------❤️分割线❤️-------------------------

  9. FOHEART H1数据手套驱动Optitrack光学动捕双手运动(Unity3D) - 2

    本教程将在Unity3D中混合Optitrack与数据手套的数据流,在人体运动的基础上,添加双手手指部分的运动。双手手背的角度仍由Optitrack提供,数据手套提供双手手指的角度。 01  客户端软件分别安装MotiveBody与MotionVenus并校准人体与数据手套。MotiveBodyMotionVenus数据手套使用、校准流程参照:https://gitee.com/foheart_1/foheart-h1-data-summary.git02  数据转发打开MotiveBody软件的Streaming,开始向Unity3D广播数据;MotionVenus中设置->选项选择Unit

  10. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目,Java开发。基于数据库增量日志解析,提供增量数据订阅&消费。Git地址:https://github.co

随机推荐