草庐IT

hive从入门到放弃(六)——常用文件存储格式

hive存储格式有很多,但常用的一般是TextFile、ORC、Parquet格式,在我们单位最多的也是这三种hive默认的文件存储格式是TextFile。除TextFile外的其他格式的表不能直接从本地文件导入数据,要先导入到TextFile格式的表中,再从表中用insert导入到其他格式的表中。一、TextFileTextFile是行式存储。建表时无需指定,一般默认这种格式,以这种格式存储的文件,可以直接在HDFS上cat查看数据。可以用任意分隔符对列分割,建表时需要指定分隔符。不会对文件进行压缩,因此加载数据的时候会比较快,因为不需要解压缩;但也因此更占用存储空间。二、ORCFileOR

hive从入门到放弃(六)——常用文件存储格式

hive存储格式有很多,但常用的一般是TextFile、ORC、Parquet格式,在我们单位最多的也是这三种hive默认的文件存储格式是TextFile。除TextFile外的其他格式的表不能直接从本地文件导入数据,要先导入到TextFile格式的表中,再从表中用insert导入到其他格式的表中。一、TextFileTextFile是行式存储。建表时无需指定,一般默认这种格式,以这种格式存储的文件,可以直接在HDFS上cat查看数据。可以用任意分隔符对列分割,建表时需要指定分隔符。不会对文件进行压缩,因此加载数据的时候会比较快,因为不需要解压缩;但也因此更占用存储空间。二、ORCFileOR

放弃写代码吧,技术leader们……

前段时间有个粉丝与我讨论了一个问题: 小钗,我半年前从技术经理升职到了技术总监,但这段时间的工作很恼火:一大半时间要去开各种产品会,还有一些时间要去处理团队扯皮,这导致我写代码的时间越来越少,半年下来感觉技术毫无成长,接下来该怎么办呢? 该同学的问题十分常见,而这里真正的问题是:程序员转型管理后,如何平衡技术及管理的精力投入。 然后看最后一句“技术毫无成长,接下来该怎么办”,这里是第二个问题:为什么技术Leader不写代码会感到焦虑? 这里围绕这两个问题开始展开。 技术大神的路线 “学而优则仕”这句话在技术界也行得通,技术好的人会被尊称为大神或者大佬,他会受到技术人员天然的尊敬,这种大神光环所

放弃写代码吧,技术leader们……

前段时间有个粉丝与我讨论了一个问题: 小钗,我半年前从技术经理升职到了技术总监,但这段时间的工作很恼火:一大半时间要去开各种产品会,还有一些时间要去处理团队扯皮,这导致我写代码的时间越来越少,半年下来感觉技术毫无成长,接下来该怎么办呢? 该同学的问题十分常见,而这里真正的问题是:程序员转型管理后,如何平衡技术及管理的精力投入。 然后看最后一句“技术毫无成长,接下来该怎么办”,这里是第二个问题:为什么技术Leader不写代码会感到焦虑? 这里围绕这两个问题开始展开。 技术大神的路线 “学而优则仕”这句话在技术界也行得通,技术好的人会被尊称为大神或者大佬,他会受到技术人员天然的尊敬,这种大神光环所

Ansible 快速入门到放弃

Ansible快速入门到放弃    最是人间留不住,朱颜辞镜花辞树。1-Ansible简介Ansible是一个配置管理和配置工具,它使用SSH连接到服务器并运行配置好的任务,服务器上只需要开启ssh,所有工作都交给client端的ansible负责。当我们有批量部署的需求时,我们可以自己写脚本,但是更推荐使用Ansible。使用Ansible无需编码只需要配置yaml文件,并且Ansible已经内置了幂等性、并发度控制等功能,大大减少了批量部署时的工作量。Ansible是基于模块工作的,本身没有批量部署的能力,真正具有批量部署的是ansible所运行的模块,ansible只是提供一种框架。主要

Ansible 快速入门到放弃

Ansible快速入门到放弃    最是人间留不住,朱颜辞镜花辞树。1-Ansible简介Ansible是一个配置管理和配置工具,它使用SSH连接到服务器并运行配置好的任务,服务器上只需要开启ssh,所有工作都交给client端的ansible负责。当我们有批量部署的需求时,我们可以自己写脚本,但是更推荐使用Ansible。使用Ansible无需编码只需要配置yaml文件,并且Ansible已经内置了幂等性、并发度控制等功能,大大减少了批量部署时的工作量。Ansible是基于模块工作的,本身没有批量部署的能力,真正具有批量部署的是ansible所运行的模块,ansible只是提供一种框架。主要

Ansible-playbook 快速入门到放弃

Ansible-playbook快速入门到放弃    隔岸红尘忙似火,当轩青嶂冷如冰。1-简介playbook相当于可以把模块命令都写入到配置文件里面,这样就可以直接执行配置文件了,类似脚本。2-playbook初体验编写test.yml文件,在serviceA主机机器上的/opt/tjt路径下创建test.txt文件。1---2-hosts:serviceA3remote_user:root4tasks:5-name:"使用touch命令创建test.txt文件"6shell:touch/opt/tjt/test.txtViewCode文件格式说明第一行需要有三个杠,hosts参数指定了对哪

Ansible-playbook 快速入门到放弃

Ansible-playbook快速入门到放弃    隔岸红尘忙似火,当轩青嶂冷如冰。1-简介playbook相当于可以把模块命令都写入到配置文件里面,这样就可以直接执行配置文件了,类似脚本。2-playbook初体验编写test.yml文件,在serviceA主机机器上的/opt/tjt路径下创建test.txt文件。1---2-hosts:serviceA3remote_user:root4tasks:5-name:"使用touch命令创建test.txt文件"6shell:touch/opt/tjt/test.txtViewCode文件格式说明第一行需要有三个杠,hosts参数指定了对哪

DIY从入门到放弃:为什么CPU我偏买盒装?

12代酷睿的新架构可以说给CPU的性能带来了非常大的提升,不过在选购产品时,还是有玩家会纠结于散片和盒装。究竟哪种CPU适合你,我们就来聊一聊CPU的两种包装。其实从名字上就能看出,盒装的CPU是单个产品有自己独立的包装,而散片则没有独立包装,消费者买到手的CPU都是商家后加的一个塑料壳。除了包装以外,盒装CPU享受官方的3年质保,而散片一般只有店铺提供的时长不定的几个月质保,如果店铺关门大吉自然就没有质保了,而盒装就不用担心这个问题。有些商家为了带货会将盒装宣传得更好,但不管怎么说,两者其实都是从同样的生产线上制造出来的,盒装CPU是CPU厂商将其作为零售商品在市场上销售的,提供官方质保,而

DIY从入门到放弃:为什么CPU我偏买盒装?

12代酷睿的新架构可以说给CPU的性能带来了非常大的提升,不过在选购产品时,还是有玩家会纠结于散片和盒装。究竟哪种CPU适合你,我们就来聊一聊CPU的两种包装。其实从名字上就能看出,盒装的CPU是单个产品有自己独立的包装,而散片则没有独立包装,消费者买到手的CPU都是商家后加的一个塑料壳。除了包装以外,盒装CPU享受官方的3年质保,而散片一般只有店铺提供的时长不定的几个月质保,如果店铺关门大吉自然就没有质保了,而盒装就不用担心这个问题。有些商家为了带货会将盒装宣传得更好,但不管怎么说,两者其实都是从同样的生产线上制造出来的,盒装CPU是CPU厂商将其作为零售商品在市场上销售的,提供官方质保,而