在net.hw.hdfs包中创建writeFileOnHDFS类
1、将数据直接写入HDFS文件 【在/ied01目录中创建hello.txt文件，创建write1()方法】
注：
package net.hw.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;
import java.net.URI;
public class WriteFileOnHDFS {
@Test
public void write1() throws Exception {
// 创建配置对象
Configuration conf = new Configuration();
// 定义统一资源标识符（uri: uniform resource identifier）
String uri = "hdfs://master:9000";
// 创建文件系统对象（基于HDFS的文件系统）
FileSystem fs = FileSystem.get(new URI(uri), conf);
// 创建路径对象（指向文件）
Path path = new Path(uri + "/ied01/hello.txt");
// 创建文件系统数据字节输出流（出水管：数据从程序到文件）
FSDataOutputStream out = fs.create(path);
// 通过字节输出流向文件写数据
out.write("Hello Hadoop World".getBytes());
// 关闭文件系统数据字节输出流
out.close();
// 关闭文件系统对象
fs.close();
// 提示用户写文件成功
System.out.println("文件[" + path + "]写入成功！");
}
}
运行write1方法，查看结果 【报错，将是没有数据节点可以写入数据】
运行程序，查看结果
利用Hadoop WebUI 界面查看hello.txt文件
将本地文件写入HDFS文件
在姓名根目录创建一个文本文件test.txt
注：可以再往下空一格
创建write2方法
运行write2方法，查看结果
注：将本地文件复制或上传到HDFS
编写write2方法 【注：导包问题】
查看write2方法，查看结果
shell上面查看/ied01/test.txt内容
两个命令：hdfs dfs -cat 和 hdfs dfs -get
在net.hw.hdfs包中创建ReadFileOnHDFS类
1、读取HDFS在控制台显示 【读取hdfs://master:9000/ied01/test.txt文件】
编写read1方法
注：
package net.hw.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;
import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.URI;
public class ReadFileOnHDFS {
@Test
public void read1() throws Exception {
// 创建配置对象
Configuration conf = new Configuration();
// 设置数据节点主机名属性
conf.set("dfs.client.use.datanode.hostname", "true");
// 定义uri字符串
String uri = "hdfs://master:9000";
// 创建文件系统对象
FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
// 创建路径对象（指向目录或文件）
Path path = new Path(uri + "/ied01/test.txt");
// 创建文件系统数据字节输入流对象
FSDataInputStream in = fs.open(path);
// 创建缓冲字符输入流对象，提高读取效率（字节流-->字符流-->缓冲流）
BufferedReader br = new BufferedReader(new InputStreamReader(in));
// 定义行字符串
String nextLine = "";
// 通过循环读取缓冲字符输入流
while ((nextLine = br.readLine()) != null) {
// 在控制台输出读取的行内容
System.out.println(nextLine);
}
// 关闭缓冲字符输入流
br.close();
// 关闭文件系统数据字节输入流
in.close();
// 关闭文件系统
fs.close();
}
}
运行read1测试方法，查看结果
使用IOUtils类来简化代码，创建read1测试方法
2、读取HDFS文件，保存为本地文件 【将/ied01/test.txt下载到项目download目录里】
创建download目录
创建read2方法
在net.hw.hdfs包中创建RenameDirOrFile类
1、重命名目录 【将/ied01目录更名为/lzy01】
编写renameDir方法
注：
package net.hw.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;
import java.net.URI;
public class RenameDirOrFile {
@Test
public void renameDir() throws Exception {
// 创建配置对象
Configuration conf = new Configuration();
// 设置数据节点主机名属性
conf.set("dfs.client.use.datanode.hostname", "true");
// 定义uri字符串
String uri = "hdfs://master:9000";
// 创建文件系统对象
FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
// 创建源路径对象
Path sourcePath = new Path("/ied01");
// 创建目标路径对象
Path targetPath = new Path("/lzy01");
// 利用文件系统对象重命名目录
fs.rename(sourcePath, targetPath);
// 关闭文件系统
fs.close();
// 提示用户目录更名成功
System.out.println("目录[" + sourcePath.getName() + "]更名为目录[" + targetPath.getName() + "]！");
}
}
查看renameDir方法，查看结果
WebUI界面进行查看
2、重命名文件 【 将lzy01目录下的hello.txt重名为hi.txt】
编写renameFile方法
注：
@Test
public void renameFile() throws Exception {
// 创建配置对象
Configuration conf = new Configuration();
// 设置数据节点主机名属性
conf.set("dfs.client.use.datanode.hostname", "true");
// 定义uri字符串
String uri = "hdfs://master:9000";
// 创建文件系统对象
FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
// 创建源路径对象（指向文件）
Path sourcePath = new Path("/lzy01/hello.txt");
// 创建目标路径对象（指向文件）
Path targetPath = new Path("/lzy01/hi.txt");
// 利用文件系统对象重命名文件
fs.rename(sourcePath, targetPath);
// 关闭文件系统
fs.close();
// 提示用户文件更名成功
System.out.println("文件[" + sourcePath.getName() + "]更名为文件[" + targetPath.getName() + "]！");
}
运行测试，查看结果
利用WeUI界面进行查看
在net.hw.hdfs包中创建ListHDFS类
1、显示/lzy01目录下的文件列表 【显示/lzy01目录下的文件列表】
编写list1方法
注：
package net.hw.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;
import org.junit.Test;
import java.net.URI;
public class ListHDFSFiles {
@Test
public void list1() throws Exception {
// 创建配置对象
Configuration conf = new Configuration();
// 设置数据节点主机名属性
conf.set("dfs.client.use.datanode.hostname", "true");
// 定义uri字符串
String uri = "hdfs://master:9000";
// 创建文件系统对象
FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
// 创建远程迭代器对象，泛型是位置文件状态类（相当于`hdfs dfs -ls -R /lzy01`）
RemoteIterator<LocatedFileStatus> ri = fs.listFiles(new Path("/lzy01"), true);
// 遍历远程迭代器
while (ri.hasNext()) {
System.out.println(ri.next());
}
}
}
运行list1测试方法，查看结果
注：
上述文件状态对象封装的有关信息，可以通过相应的方法来获取，比如getPath()方法就可以获取路径信息，getLen()方法就可以获取文件长度信息……
2、显示指定目录下文件路径和长度信息 【编写list2方法】
注：
@Test
public void list2() throws Exception {
// 创建配置对象
Configuration conf = new Configuration();
// 设置数据节点主机名属性
conf.set("dfs.client.use.datanode.hostname", "true");
// 定义uri字符串
String uri = "hdfs://master:9000";
// 创建文件系统对象
FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
// 创建远程迭代器对象，泛型是位置文件状态类（相当于`hdfs dfs -ls -R /lzy01`）
RemoteIterator<LocatedFileStatus> ri = fs.listFiles(new Path("/lzy01"), true);
// 遍历远程迭代器
while (ri.hasNext()) {
LocatedFileStatus lfs = ri.next();
System.out.println(lfs.getPath() + " " + lfs.getLen() + "字节");
}
}
运行list2测试方法，查看结果
对照WebUI上给出文件信息
hadoop压缩包分割成6个文件块
net.hw.hdfs包中创建GetBlockLocations类
用getFileBlocakLocations方法来获取物理切块信息
获取文件信息：
运行程序，查看结果（切点位置、块大小，块存在位置）
net.hw.hdfs包中创建MakeDirOnHDFS类
运行程序，查看结果
WebUI界面进行查看
net.hw.hdfs包中创建DirFileExistsOrNot类
编写dirExists方法
运行程序，查看结果
在net.hw.hdfs包中创建PathToFileOrDir类
运行程序，查看结果
在net.hw.hdfs包中创建DeleterFileOrDir类
1、删除文件,删除/lzy01/test2.txt文件
编写deleterFile方法
运行deleterFile测试方法，查看结果
删除文件之前，判断文件是否存在，需要修改代码
注：
package net.hw.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;
import java.net.URI;
public class DeleteFileOrDir {
@Test
public void deleteFile() throws Exception {
Configuration conf = new Configuration();
String uri = "hdfs://master:9000";
FileSystem fs = FileSystem.get(new URI(uri), conf);
Path path = new Path("/lzy01/test2.txt");
boolean result = fs.delete(path, true);
if (result) {
System.out.println("文件[" + path + "]删除成功！");
} else {
System.out.println("文件[" + path + "]删除失败！");
} else {
System.out.println("文件[" + path + "]不存在！");
}
}
运行deleterFile测试方法，查看结果
2、删除目录 【删除/ied01目录 编写deleterDir方法】
编写deleDir方法
再运行deleterDir方法，查看结果
3、删除目录或文件 【进行三个层面的判断：判断类型（目录或者文件）、判度胺是否存在、判断删除是否成功】
删除/lzy01目录下的test1.txt
编写delete方法
运行delete方法，查看结果
我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看rubyzip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d
我试图在一个项目中使用rake，如果我把所有东西都放到Rakefile中，它会很大并且很难读取/找到东西，所以我试着将每个命名空间放在lib/rake中它自己的文件中，我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题，但没有任务。我现在只有一个.rake文件作为测试，名为“servers.rake”，它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时
我的目标是转换表单输入，例如“100兆字节”或“1GB”，并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前，我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效，但前提是输入是倍数(“gigabytes”，而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以，功能正常，
Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情？ 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中，使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件，我们在StackOverflow上找到一个类似的问题
对于具有离线功能的智能手机应用程序，我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl
我得到了一个包含嵌套链接的表单。编辑时链接字段为空的问题。这是我的表格:Editingkategori{:action=>'update',:id=>@konkurrancer.id})do|f|%>'Trackingurl',:style=>'width:500;'%>'Editkonkurrence'%>|我的konkurrencer模型:has_one:link我的链接模型:classLink我的konkurrancer编辑操作:defedit@konkurrancer=Konkurrancer.find(params[:id])@konkurrancer.link_attrib
我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚
我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta
好的，所以我的目标是轻松地将一些数据保存到磁盘以备后用。您如何简单地写入然后读取一个对象？所以如果我有一个简单的类classCattr_accessor:a,:bdefinitialize(a,b)@a,@b=a,bendend所以如果我从中非常快地制作一个objobj=C.new("foo","bar")#justgaveitsomerandomvalues然后我可以把它变成一个kindaidstring=obj.to_s#whichreturns""我终于可以将此字符串打印到文件或其他内容中。我的问题是，我该如何再次将这个id变回一个对象？我知道我可以自己挑选信息并制作一个接受该信
