草庐IT

hadoop虚拟化

全部标签

hadoop运行jar遇到的一个报错

报错信息:2023-12-1914:28:25,893INFOmapreduce.Job:Jobjob_1702967272525_0001failedwithstateFAILEDdueto:Applicationapplication_1702967272525_0001failed2timesduetoAMContainerforappattempt_1702967272525_0001_000002exitedwith exitCode:127Failingthisattempt.Diagnostics:[2023-12-1914:28:25.741]Exceptionfromcont

人工智能AI 虚拟现实VR的最高境界-黑客帝国-全文

今天来梳理记录我10多年前发表在豆瓣上排名第一的影评《黑客帝国》,这个电影于1999年上映,启发了后面20多年的科幻电影和科技发展,如人工智能AI,虚拟现实VR等等。影评较长,我分为5部分来介绍。《黑客帝国》:一个深邃的虚拟真实世界,一部伟大的科幻史诗!(黑客帝国2:重装上阵)影评《黑客帝国》包含4部电影《AniMatrix》和《TheMatrix1,2,3》,我按照故事发展的时间正序来梳理。第1部分:故事背景,人形机器人,人工智能AI起初,神创造了人。此处呼应《圣经旧约》,因为人的祖先亚当和夏娃偷吃了禁果,人就有了罪。  在开始的一段时间里,情况还不错。后来,人类所谓的“文明社会”,很快就变

java与大数据:Hadoop与MapReduce

Hadoop和MapReduce是由Apache软件基金会开发和维护的开源项目。它们的出现主要是为了解决传统的数据处理工具无法处理大数据量的局限性。首先,让我们深入了解一下Hadoop。Hadoop是一个分布式计算框架,旨在处理大规模数据集并提供可靠性和可扩展性。它由两个核心组件组成:Hadoop分布式文件系统(HDFS):HDFS是Hadoop的存储系统,它将大数据集分割成多个块,并将这些块分布在集群的不同计算节点上。这种方式有助于提高性能和可靠性。HDFS的一个重要特性是数据冗余备份,即将数据块复制到多个节点上以确保数据的可靠性和容错性。如果某个节点发生故障,系统可以自动使用备份数据块来恢

VMware虚拟机安装openKylin(开放)麒麟系统

1.麒麟系统简单介绍常见的有银河麒麟,中标麒麟,开放麒麟,优麒麟麒麟软件官网:https://www.kylinos.cn/开放麒麟官网:https://www.openkylin.top/优麒麟官网:https://www.ubuntukylin.com/开放麒麟和银河麒麟桌面操作系统的关系类似于深度deepin和统信UOS。前者为社区版本,后者是上游商业版本。社区版本更注重功能也更激进,商业版本则更注重稳定开放麒麟为中国首个桌面操作系统开发者平台。开放麒麟由国家工业信息安全发展研究中心等单位联合成立,将打造具有自主创新技术的开源桌面操作系统银河麒麟(Kylin)是由国防科技大学研制的开源服

hadoop02_HDFS的API操作

HDFS的API操作1HDFS核心类简介Configuration类:处理HDFS配置的核心类。FileSystem类:处理HDFS文件相关操作的核心类,包括对文件夹或文件的创建,删除,查看状态,复制,从本地挪动到HDFS文件系统中等。Path类:处理HDFS文件路径。IOUtils类:处理HDFS文件读写的工具类。2HDFS文件处理类FileSystem的核心方法介绍:1.FileSystemget(URIuri,Configurationconf)根据HDFS的URI和配置,创建FileSystem实例2.publicbooleanmkdirs(Pathf)throwsIOExceptio

使用 Kafka Tools(现已更名为 Offeset Exploer)无法连接虚拟机的 Kafka 集群,报错error connecting to the cluster

发生缘由学习Kafka的使用,结果发现使用KafkaTools(现已更名为OffesetExploer)无法连接虚拟机的Kafka集群,报错信息:errorconnectingtothecluster.unabletoconnecttozookeeperserverxxx.xxx.xxx.xxx2181withtimeoutof10000ms运行环境电脑系统版本:Windows1064bitVMwareWorkstation:VMwareWorkstation15Pro15.1.0build-13591040Linux版本:CentOS-7Kafka版本:kafka_2.12-2.4.1Off

Linux环境安装Hadoop

(1)下载Hadoop安装包并上传下载Hadoop安装包到本地,并导入到Linux服务器的/opt/software路径下(2)解压安装包解压安装文件并放到/opt/module下面[root@hadoop100 ~]$cd/opt/software[root@hadoop100software]$tar-zxvfhadoop-3.1.3.tar.gz-C/opt/module/(3)将Hadoop添加到环境变量 [root@hadoop100 ~]$vim/etc/profile.d/hadoop_env.sh在hadoop_env.sh文件末尾添加如下内容: #HADOOP_HOME ex

Hadoop之mapreduce参数大全-4

76.指定在MapReduce作业中,哪些输出文件应该在任务失败时保留mapreduce.task.files.preserve.filepattern是HadoopMapReduce框架中的一个配置属性,用于指定在MapReduce作业中,哪些输出文件应该在任务失败时保留。在MapReduce作业中,当一个任务失败时,可以选择保留该任务的输出文件以便进一步调试。mapreduce.task.files.preserve.filepattern属性允许用户定义一个正则表达式模式,匹配的输出文件将在任务失败时被保留。在Hadoop配置文件中,可以通过以下方式设置mapreduce.task.fi

教你如何将本地虚拟机变成服务器,供其它电脑访问

场景:最近在做数据仓库的作业,需要团队协作,买不起阿里云服务器,所以想到能不能将我本地机上的虚拟机变成服务器,供其它同学的电脑访问。在虚拟机上安装hadoop和hive,然后同学机子上安装kettle进行连接。最后发现是可以的。本文介绍如何将本地虚拟机变成服务器,供其它电脑访问。假设现在有电脑A和电脑B,虚拟机安装在电脑A上,现在电脑B想访问电脑A上的虚拟机。首先要保证2点:1.两台电脑要在同一个网段下:比如同一个wifi,手机热点,或者校园网下。2.两台电脑要开放端口(如果嫌麻烦直接关闭防火墙即可)。一、修改虚拟机的设置1.首先打开虚拟机设置确保网络适配器为NAT:2.然后选择编辑选项卡,点

计算机算法分析与设计(15)---贪心算法(虚拟汽车加油问题和最优分解问题)

文章目录一、虚拟汽车加油问题1.1问题描述1.2思路分析1.3代码编写二、最优分解问题2.1问题描述2.2思路分析2.3代码编写一、虚拟汽车加油问题1.1问题描述 一辆虚拟汽车加满油后可行驶nnnkm。旅途中有若干加油站。设计一个有效算法,指出应在哪些加油站停靠加油,使沿途加油次数最少,计算最少加油次数。数据输入:第一行有两个整数n和k,表示汽车加满油后可行驶nkm,且路途中有k个加油站。接下来的一行中有k+1个整数,表示第k个加油站与k-1个加油站之间的距离。第0个加油站表示处出发地,汽车已加满油,第k+1个加油站便是目的地。数据输出:将计算的最少加油次数输出,如果无法到达目的地,则输出“N