我是Hadoop新手，任务是使用Java代码将结构化数据迁移到HDFS。我知道Sqoop可以完成同样的任务，但这不是我的任务。有人可以解释一下执行此操作的可能方法吗？我确实尝试过这样做。我所做的是使用jdbc驱动程序从psql服务器复制数据，然后将其以csv格式存储在HDFS中。这是解决此问题的正确方法吗？我读到Hadoop有自己的数据类型来存储结构化数据。你能解释一下这是怎么发生的吗？谢谢。 最佳答案 最先进的技术是使用(pullETL)sqoop作为常规批处理从RDBM获取数据。然而，这种方式对RDBMS来说既资源消耗(通常sq
有没有办法以GB或MB为单位计算HDFS文件目录的总文件大小？我不想使用du命令。没有那个也有办法目录-/test/my_dir 最佳答案 你可以使用df或report、'hadoopfs-count-q-h它会显示总大小[root@hadoop0~]#hadoopfs-df-h/FilesystemSizeUsedAvailableUse%hdfs://hadoop0:8020119.9G27.8G62.3G23%[root@hadoop0~]#hadoopdfsadmin-reportDEPRECATED:Useofthissc
我有一个包含2个主节点和2个数据节点的4节点hadoop集群。我在这个集群中有很多文件。我的一个数据节点崩溃了(从aws控制台意外终止)。因为我有复制因子1，所以我认为这不会导致任何数据丢失。我添加了新节点并将其作为数据节点。但是现在我的hdfsdfsadmin-report说很多缺失的block。为什么是这样？我怎样才能从这里恢复过来？我不能执行fsck-delete，因为这些文件对我很重要。当我尝试从这个集群到另一个新创建的集群的distcp时，我得到了丢失的block异常。添加新数据节点后是否需要执行任何步骤？ 最佳答案 Ha
我是Hadoop的新手，正在尝试检查HDFS中有哪些数据可用。但是，dfs命令返回一个响应，指示该类已弃用，应使用hdfs:-bash-4.2$hadoopdfs-lsDEPRECATED:Useofthisscripttoexecutehdfscommandisdeprecated.Insteadusethehdfscommandforit.ls:`.':Nosuchfileordirectory但是，当我尝试使用hdfs命令时，我得到了一个Java类查找错误:-bash-4.2$hadoophdfs-lsError:Couldnotfindorloadmainclasshdfs我的
我有存储在HDFS上的文件，其名称后缀有日期，与文件的修改日期不同，如下所示:$hdfsdfs-ls/a/b/c/d/e/*Found5itemsdrwxr-xr-x-xuserxuser02015-05-0113:59/a/b/c/d/e/exp_dt=2016-01-05drwxr-xr-x-xuserxuser02017-10-1015:42/a/b/c/d/e/exp_dt=2015-05-01我正在尝试查找仅具有给定exp_dt的文件。目前，努力如下:inputDir=/a/b/c/d/e/countCmd='hdfsdfs-ls$inputDir|grep'\.2015$'
我是ApacheSpark、Scala和Hadoop工具的新手。我已经设置了一个新的本地单节点Hadoop集群，如前所述here并且还设置了spark以提供对此Hadoop环境的引用，如前所述here.我能够验证spark-shell、sparkUI已启动并正在运行。此外，我可以使用localhost查看HDFS。.为了更进一步，我将示例文件上传到HDFS，并使用Hadooplocalhost验证它是否可用。现在，我尝试使用Java和spark-shell(Scala)来计算文件中的行数，但是这两个调用都因该堆栈跟踪而失败。Exceptioninthread"dag-scheduler
我正在尝试以分布式方式(使用3台计算机的集群)运行ApacheHadoop2.65，并且我想决定映射器和缩减器的数量。我正在使用复制数为1的HDFS，我的输入是3个文件(表)。我想调整数据在系统中的流动方式，为此，我想通过以下方式获得一些帮助吗？以及如何以及在哪里可以更改它？HDFS的复制-我可以干扰HDFS的复制方式吗？例如，确保每个文件存储在不同的计算机上？如果可以，我可以选择哪个它将存储在计算机上吗？映射器数量-我可以更改映射器或输入拆分的数量吗？我知道这取决于输入拆分的数量和block大小。它在网上说我可以通过更改以下参数来做到这一点，但我不知道在哪里？-Dmapred.map
我已经开始学习Hadoop。我知道HDFS提供分布式存储系统，而Mapreduce用于数据处理。现在我正在阅读Hadoop生态系统。从Hive的定义来看，它是一个建立在hadoop之上，提供类SQL接口(interface)的数据仓库。我的问题是当hadoop提供容错的分布式HDFS时，为什么要配置单元？Hive会取代HDFS吗？hive是只提供sql接口(interface)还是也提供存储？ 最佳答案 Hive不会取代HDFS。Hive为存储在HDFS中的数据提供了sql类型的接口(interface)。它主要用于查询和分析存储的
我正在尝试使用pyspark将数据写入hdfs，如下所示:importpysparkfrompyspark.sqlimportSparkSessionsparkSession=SparkSession.builder.appName("example-pyspark-read-and-write").getOrCreate()data=[('First',1),('Second',2),('Third',3),('Fourth',4),('Fifth',5)]df=sparkSession.createDataFrame(data)df.write.csv("hdfs://:9000/
Thecore-site.xmlfileinformsHadoopdaemonwhereNameNoderunsinthecluster.ItcontainstheconfigurationsettingsforHadoopCoresuchasI/OsettingsthatarecommontoHDFSandMapReduce.Thehdfs-site.xmlfilecontainstheconfigurationsettingsforHDFSdaemons;theNameNode,theSecondaryNameNode,andtheDataNodes.Here,wecanconfi
