草庐IT

gaussian-process

全部标签

Flink从入门到真香(16、Flink内置的一些Process Function)

之前的转换算子是无法访问事件的时间戳信息和水位线信息的,而这在一些应用场景下,极为重要。例如MapFunction这样子的map转换算子就无法访问时间戳或者当前事件的事件事件。基于此,DataStreamAPI提供了一系列LOW-LEVEL的转换算子调用。可以访问时间戳,watermark以及注册定时事件,还可以输出特定的一些事件,例如超时时间等。processfunction用来构建事件驱动的应用以及实现自定义的业务逻辑(使用之前的window函数和转换算子无法实现)。例如FlinkSQL就是使用ProcessFunction实现的。Flink提供了8个ProcessFunctionProc

Flink从入门到真香(16、Flink内置的一些Process Function)

之前的转换算子是无法访问事件的时间戳信息和水位线信息的,而这在一些应用场景下,极为重要。例如MapFunction这样子的map转换算子就无法访问时间戳或者当前事件的事件事件。基于此,DataStreamAPI提供了一系列LOW-LEVEL的转换算子调用。可以访问时间戳,watermark以及注册定时事件,还可以输出特定的一些事件,例如超时时间等。processfunction用来构建事件驱动的应用以及实现自定义的业务逻辑(使用之前的window函数和转换算子无法实现)。例如FlinkSQL就是使用ProcessFunction实现的。Flink提供了8个ProcessFunctionProc

shell 里的进程替换(Process Substitution)

bash和zsh里都支持进程替换(ProcessSubstitution)写法为:(command)比如:$cat>(cat)#把>(cat)当成临时文件,ls的结果重定向到这个文件,最后这个文件被cat用进程替换将std和err输出分别定向:$some_command>>(/bin/cmd_for_stdout)2>>(/bin/cmd_for_stderr)另参考这里:http://www.ibm.com/developerworks/cn/aix/library/au-satzsh.html里面有更多例子,比如:#使用临时文件来将一个文件中的字段提取并重新组合到另一个文件中$cut-f1

shell 里的进程替换(Process Substitution)

bash和zsh里都支持进程替换(ProcessSubstitution)写法为:(command)比如:$cat>(cat)#把>(cat)当成临时文件,ls的结果重定向到这个文件,最后这个文件被cat用进程替换将std和err输出分别定向:$some_command>>(/bin/cmd_for_stdout)2>>(/bin/cmd_for_stderr)另参考这里:http://www.ibm.com/developerworks/cn/aix/library/au-satzsh.html里面有更多例子,比如:#使用临时文件来将一个文件中的字段提取并重新组合到另一个文件中$cut-f1