草庐IT

PIG_HOME

全部标签

你用pig分析access_log日志中ip访问次数

环境说明:os版本:rhel5.764位hadoop版本:hadoop-0.20.2hbase版本:hbase-0.90.5pig版本:pig-0.9.2访问日志文件,下载文章中的附件!日志放在本地目录路径为:/home/hadoop/access_log.txt日志格式为:220.181.108.151--[31/Jan/2012:00:02:32+0800]"GET/home.php?mod=space&uid=158&do=album&view=me&from=spaceHTTP/1.1"2008784"-""Mozilla/5.0(compatible;Baiduspider/2.0;

你用pig分析access_log日志中ip访问次数

环境说明:os版本:rhel5.764位hadoop版本:hadoop-0.20.2hbase版本:hbase-0.90.5pig版本:pig-0.9.2访问日志文件,下载文章中的附件!日志放在本地目录路径为:/home/hadoop/access_log.txt日志格式为:220.181.108.151--[31/Jan/2012:00:02:32+0800]"GET/home.php?mod=space&uid=158&do=album&view=me&from=spaceHTTP/1.1"2008784"-""Mozilla/5.0(compatible;Baiduspider/2.0;

Pig自定义过滤UDF和加载UDF

    Pig是一种数据流编程语言,由一系列操作和变换构成,每一个操作或者变换都对输入进行处理,然后产生输出结果,整体操作表示一个数据流。Pig的执行环境将数据流翻译为可执行的内部表示,在Pig内部,这些变换操作被转换为一系列的MapReduce作业。   Pig自身有许多个方法,有时候需要我们自己定制特定的处理方法即UDF。   UDF具体的步骤如下:第一步,继承计算类或者过滤类或者加载类或者存储类,重写里面的需要实现的方法,将写好的类进行打包生成jar文件。诸如命名为example.jar第二步,进入Pig的grunt中,利用register将打包的文件注册进入Pig中。进入Pig的gru

Pig自定义过滤UDF和加载UDF

    Pig是一种数据流编程语言,由一系列操作和变换构成,每一个操作或者变换都对输入进行处理,然后产生输出结果,整体操作表示一个数据流。Pig的执行环境将数据流翻译为可执行的内部表示,在Pig内部,这些变换操作被转换为一系列的MapReduce作业。   Pig自身有许多个方法,有时候需要我们自己定制特定的处理方法即UDF。   UDF具体的步骤如下:第一步,继承计算类或者过滤类或者加载类或者存储类,重写里面的需要实现的方法,将写好的类进行打包生成jar文件。诸如命名为example.jar第二步,进入Pig的grunt中,利用register将打包的文件注册进入Pig中。进入Pig的gru