草庐IT

转录组DEGs聚类热图和功能富集分析

写在前面:经常做转录组分析,就是把差异基因搞个火山图和Venn图看各组差异基因的共有和特有情况。看见有个比较好的选择,能直观比较各种处理带来的影响,如下:image.png来自Natureplants的一篇文章Ref:https://github.com/YulongNiu/MPIPZ_microbe-host_homeostasishttps://www.nature.com/articles/s41477-021-00920-2这个图很牛逼啊,表示的信息量很全,值得学习。去扒作者的代码,复现出了大部分所需文件:总的基因丰度表,即各个基因在每个样品中的丰度image.png各个样品的基因差异

基于Ansible实现Apache Doris快速部署运维指南

ApacheDoris介绍ApacheDoris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果,有效地支持实时数据分析。ApacheDoris的分布式架构非常简洁,易于运维,并且可以支持10PB以上的超大数据集。ApacheDoris可以满足多种数据分析需求,例如固定历史报表,实时数据分析,交互式数据分析和探索式数据分析等。令您的数据分析工作更加简单高效!DorisAnsible简介Doris_ansible是基于ansible构建的Doris高可用集群轻量化自动运维工具,它能够在本地方便快捷的一键拉起Doris高可用集群,并且集群的启停、升降级、扩缩容都可以通过一条

Kafka可视化管理工具-EFAK

一、什么是EFAKEFAK(EagleForApacheKafka,以前称为KafkaEagle)EFAK是开源可视化和管理软件。可以查询、可视化、监控kafka集群,是将kafka的集群数据转换为图形可视化的工具。二、为什么要用EFAKApacheKafka没有正式提供监控系统或页面。开源Kafka监控系统功能太少或暂停维护。现有的监控系统难以配置和使用。一些监控系统无法满足与现有IM的集成,如微信、钉钉等。三、安装3.1下载可以在GitHub上下载EFAK源代码自行编译安装,也可以下载二进制.tar.gz文件。Github:https://github.com/smartloli/EFAK

redis优化系列(六)高可用集群Redis Cluster的认识

一、redis哨兵+主从的问题假设我们在一台主从机器上配置了200G内存,但是业务需求是需要500G的时候,主从结构+哨兵可以实现高可用故障切换+冗余备份,但是并不能解决数据容量的问题,用哨兵,redis每个实例也是全量存储,每个redis存储的内容都是完整的数据,浪费内存且有木桶效应。为了最大化利用内存,可以采用cluster集群,就是分布式存储。即每台redis存储不同的内容。Redis分布式方案一般有两种:①、客户端分区方案:优点是分区逻辑可控,缺点是需要自己处理数据路由、高可用、故障转移等问题,比如在redis2.8之前通常的做法是获取某个key的hashcode,然后取余分布到不同节

redis优化系列(六)高可用集群Redis Cluster的认识

一、redis哨兵+主从的问题假设我们在一台主从机器上配置了200G内存,但是业务需求是需要500G的时候,主从结构+哨兵可以实现高可用故障切换+冗余备份,但是并不能解决数据容量的问题,用哨兵,redis每个实例也是全量存储,每个redis存储的内容都是完整的数据,浪费内存且有木桶效应。为了最大化利用内存,可以采用cluster集群,就是分布式存储。即每台redis存储不同的内容。Redis分布式方案一般有两种:①、客户端分区方案:优点是分区逻辑可控,缺点是需要自己处理数据路由、高可用、故障转移等问题,比如在redis2.8之前通常的做法是获取某个key的hashcode,然后取余分布到不同节

在 Google Kubernetes Cluster 上使用 HANA Expression Database Service

我们知道,Cluster是GoogleKubernetesEngine(简称GKE)的基础,代表容器化应用程序的Kubernetes对象都在集群之上运行。GoogleKubernetesEngine(GKE)提供了一个托管环境,开发人员可以使用Google基础架构在GKE中部署、管理和扩缩容器化应用。GKE环境包括多个ComputeEngine实例,这些实例组合在一起就形成了GoogleKubernetesCluster.SAPHANAExpression是SAPHANA的简化版本,旨在在笔记本电脑和其他主机(包括云托管的虚拟机)上运行,当然也就支持在本文刚刚描述的GoogleKubernet

在 Google Kubernetes Cluster 上使用 HANA Expression Database Service

我们知道,Cluster是GoogleKubernetesEngine(简称GKE)的基础,代表容器化应用程序的Kubernetes对象都在集群之上运行。GoogleKubernetesEngine(GKE)提供了一个托管环境,开发人员可以使用Google基础架构在GKE中部署、管理和扩缩容器化应用。GKE环境包括多个ComputeEngine实例,这些实例组合在一起就形成了GoogleKubernetesCluster.SAPHANAExpression是SAPHANA的简化版本,旨在在笔记本电脑和其他主机(包括云托管的虚拟机)上运行,当然也就支持在本文刚刚描述的GoogleKubernet