前提：在虚拟机中安装好Hadoop
参考文章：HDFS编程实践（Hadoop3.1.3）_厦大数据库实验室博客 (xmu.edu.cn)
目录
编写shell与Java代码检验分布式系统HDFS上是否存在一个input.txt，并对代码进行详细注释，通过流程图阐述数据查找过程。
1. 做好前提准备
①启动Hadoop
②使用Hadoop内的hdfs创建文件夹用于存储文件，可以实现对照
使用的命令为：./bin/hdfs/dfs -mkdir /input
③上传本地文件到hdfs中
使用的命令为：./bin/hdfs dfs -put /usr/local/hadoop/input/txt /input
2. 使用shell编程实现判断文件是否存在，如存在就输出文件的内容。
①命令行直接实现
./bin/hdfs dfs -test -e /input/input.txt
echo $?如果输出为 0 代表文件存在；如果输出为1，代表文件不存在。
②通过shell编程实现文字版的输出
3. 使用java代码判断文件是否存在，如存在就输出文件的内容。
import java.io.BufferedReader;//java读取文件的相关包
import java.io.InputStreamReader;
//导入相关包
import org.apache.hadoop.conf.Configuration;//这个包是专门管理配置文件的
//这个包中包含了hadoop中所有关于文件管理的类，所有的都是继承它
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;//可以读取url路径
import org.apache.hadoop.fs.FSDataInputStream;
//FileSystem对象中的open()方法返回的是FSDataInputStream对象,这个类是继承了java.io.DataInputStream接口的一个特殊类
//支持随机访问,可以从流中的任意位置读取数据
public class Hdfs {
public static void main(String[] args){
try{
String fileName = "/input/input.txt";//文件的路径
//加载配置项
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://192.168.43.100:8020");//文件系统的路径（这个需要看自己在配置core-site.xml时使用的路径）
//DistributedFileSystem是在HDFS客户端的节点上，负责与HDFS集群进行交互，如在NameNode上读写元数据，在DataNode节点上读写数据等
conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
//创建文件系统实例
FileSystem fs = FileSystem.get(conf);
//判断文件是否存在
if(fs.exists(new Path(fileName))){
//如果文件存在就打印输出
System.out.println("文件存在");
//打印输出文本内容
Path file = new Path(fileName);
FSDataInputStream getIt = fs.open(file);
//缓冲区读取，避免了乱码现象
BufferedReader d = new BufferedReader(new InputStreamReader(getIt));
String line = null;
System.out.println("文件的内容为：");
while((line = d.readLine()) != null) {
System.out.println(line);
}
d.close(); //关闭文件
}else{
System.out.println("文件不存在");
}
//如果报错的话，就打印输出错误信息
}catch (Exception e){
e.printStackTrace();
}
}
}
结果输出
1. 在Ubuntu中安装eclipse
教程：打开底部的软件安装软件-->搜索eclipse-->安装
2. 创建Java project
将Hadoop相关的库导入
3. 将Hadoop配置文件中的core-site.xml以及hdfs-site.xml复制到创建好的java project的bin目录下（要不然会报错的）
1. 实验中导包问题
在实验的过程中，按照林子雨老师的教程，只是把那几个Hadoop包导入进去就OK的，但是在实际中，还需要导入其他的库，其他库分别分布在Hadoop其他目录下，需要自己找一下。
（可能是我在安装Hadoop的时候放乱了）
贴一些因为jar包没导入而报的错
贴一些解决方法（其他库分别分布在Hadoop其他目录下，需要自己找一下）
org.apache.hadoop.util.PlatformName_鱿鱼ing的博客-CSDN博客
2. 上传文件提示失败
这是因为DataNode节点没有启动成功
可以看另外一篇文章的文末
大数据技术原理与应用-实验一-Hadoop的安装与使用_临粤的博客-CSDN博客
3. Caused by: java.net.ConnectException: 网络不可达 (connect failed)
解决方法：看java代码中连接hdfs的链接是否跟配置core-site.xml中hdfs的路径一致。我们在配置hdfs-site.xml时，里面可能填写的是IP地址+8020，但是在Java代码中我们填写了localhost+9000，两者不一致，导致连接不上。
实验参考厦门大学老师的hdfs编程教程
如果有什么错漏的地方，请各位大佬指教[抱拳]
几个月前，我读了一篇关于rubygem的博客文章，它可以通过阅读代码本身来确定编程语言。对于我的生活，我不记得博客或gem的名称。谷歌搜索“ruby编程语言猜测”及其变体也无济于事。有人碰巧知道相关gem的名称吗？ 最佳答案 是这个吗:http://github.com/chrislo/sourceclassifier/tree/master 关于ruby-寻找通过阅读代码确定编程语言的rubygem？，我们在StackOverflow上找到一个类似的问题：
网络编程套接字网络编程基础知识理解源`IP`地址和目的`IP`地址理解源MAC地址和目的MAC地址认识端口号理解端口号和进程ID理解源端口号和目的端口号认识`TCP`协议认识`UDP`协议网络字节序socket编程接口`sockaddr``UDP`网络程序服务器端代码逻辑：需要用到的接口服务器端代码`udp`客户端代码逻辑`udp`客户端代码`TCP`网络程序服务器代码逻辑多个版本服务器单进程版本多进程版本多线程版本线程池版本服务器端代码客户端代码逻辑客户端代码TCP协议通讯流程TCP协议的客户端/服务器程序流程三次握手（建立连接）数据传输四次挥手（断开连接）TCP和UDP对比网络编程基础知识
我完全不是程序员，正在学习使用Ruby和Rails框架进行编程。我目前正在使用Ruby1.8.7和Rails3.0.3，但我想知道我是否应该升级到Ruby1.9，因为我真的没有任何升级的“遗留”成本。缺点是什么？我是否会遇到与普通gem的兼容性问题，或者甚至其他我不太了解甚至无法预料的问题？ 最佳答案 你应该升级。不要坚持从1.8.7开始。如果您发现不支持1.9.2的gem，请避免使用它们(因为它们很可能不被维护)。如果您对gem是否兼容1.9.2有任何疑问，您可以在以下位置查看:http://www.railsplugins.or
我创建了一个由于“在运行时执行的单例元类定义”而无法编码的对象(这段代码的描述是否正确？)。这是通过以下代码执行的:#defineclassXthatmyusesingletonclassmetaprogrammingfeatures#throughcallofmethod:break_marshalling!classXdefbreak_marshalling!meta_class=class我该怎么做才能使对象编码正确？是否可以从对象instance_of_x的classX中“移除”单例组件？我真的需要一个建议，因为我们的一些对象需要通过Marshal.dump序列化机制进行缓存。
我正在查看Ruby日志记录库Logging.logger方法并从sourceatgithub提出问题与这段代码有关:logger=::Logging::Logger.new(name)logger.add_appendersappenderlogger.additive=falseclass我知道类 最佳答案 这实际上删除了方法(当它实际被执行时)。这是确保close不会被调用两次的保障措施。看起来好像有嵌套的“class 关于Ruby元编程问题，我们在StackOverflow上找到一
使用Paperclip，我想从这样的URL抓取图像:require'open-uri'user.photo=open(url)问题是我最后得到一个像“open-uri20110915-4852-1o7k5uw”这样的文件名。有什么方法可以更改user.photo上的文件名？作为一个额外的变化，Paperclip将我的文件存储在S3上，所以如果我可以在初始分配中设置我想要的文件名就更好了，这样图像就会上传到正确的S3key。像这样:user.photo=open(url),:filename=>URI.parse(url).path 最佳答案
我正在开发一个xcode自动构建系统。在执行一些预构建验证时，我想检查指定的证书文件是否已被撤销。我了解securityverify-cert验证其他证书属性但不验证吊销。我如何检查撤销？我正在用Ruby编写构建系统，但我对任何语言的想法都持开放态度。我阅读了这个答案(Openssl-Howtocheckifacertificateisrevokedornot)，但指向底部的链接(DoesOpenSSLautomaticallyhandleCRLs(CertificateRevocationLists)now?)进入的Material对我的目的来说有点过于复杂(用户上传已撤销的证书是一
关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗？Updatethequestion所以它是on-topic用于堆栈溢出。关闭11年前。Improvethisquestion我不经常使用ruby-通常它加起来相当于每两个月或更长时间编写一次脚本。我的大部分编程都是使用C++进行的，这与ruby有很大不同。由于我与ruby之间的差距如此之大，我总是忘记语言的基本方面(比如解析文本文件和其他简单的东西)。我想每天练习一些基本的东西，我想知道是否有一些我可以订阅的网站，并且会向我发送当天的Ruby问题或类似的东西。有人知道这样的站点/Internet服务吗？
我一直在寻找一种以编程方式或通过命令行将mp3转换为aac的方法，但没有成功。理想情况下，我有一段代码可以从我的Rails应用程序中调用，将mp3转换为aac。我安装了ffmpeg和libfaac，并能够使用以下命令创建aac文件:ffmpeg-itest.mp3-acodeclibfaac-ab163840dest.aac当我将输出文件的名称更改为dest.m4a时，它无法在iTunes中播放。谢谢! 最佳答案 FFmpeg提供AAC编码功能(如果您已编译它们)。如果您使用的是Windows，则可以从here获取完整的二进制文件。
我想输入一个字符串并返回一个可用于描述字符串结构的正则表达式。正则表达式将用于查找更多与第一个结构相同的字符串。这是故意模棱两可的，因为我肯定会漏掉SO社区中的某个人会发现的情况。请发布任何和所有可能的方法来做到这一点。 最佳答案 简单的答案(可能不是您想要的)是:返回输入字符串(正则表达式特殊字符转义)。这始终是与字符串匹配的正则表达式。如果您希望识别某些结构，则必须提供有关您希望识别的结构类型的更多信息。如果没有这些信息，问题就会以模棱两可的方式陈述，并且有许多可能的解决方案。例如，输入字符串'aba'可以描述为'阿巴''阿巴*