草庐IT

Visibility

全部标签

Java程序员必须掌握的十款开源工具!

​Java世界中存在许多工具,从Eclipse,NetBeans和IntelliJIDEA等著名的IDE开始到Java开发人员应该知道的JVM分析和监视工具,如JConsole,VisualVM,EclipseMemoryAnalyzer等。尽管如此,在本文中,我将重点介绍适用于各种Java开发人员的通用工具,例如核心Java开发人员和Web开发人员。1.JIRAAtlassian的JIRA是当前敏捷开发领域最重要的工具之一。它用于错误跟踪,问题跟踪和项目管理。如果你遵循敏捷开发方法,例如Sprint和Scrum,那么你必须了解JIRA。它允许您创建Spring循环并跟踪软件开发的进度。JIR

大数据已死!从业10年老哥爆文抨击:这套唬不住客户了

​本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。“大数据已死。”说这话的,正是来自Google十年员工,数据分析产品BigQuery创始成员之一,JordanTigani。在最新发布的一篇博文中,他表示——大数据概念在十多年前开始兴起,时至今日,销售们仍用“海量数据带来指数级增长曲线”说法,来勾起(唬住)客户为相关服务买单的欲望,否则就将被数字时代抛弃。作者自己也曾是其中之一。但现在,JordanTigani不仅认为这种说法行不通,还称——“数据大小根本不是问题所在。”那么问题在哪?他认为,我们已无需担心数据大小,而应专注于如何使用数据来做出更好的决策。如此言论之

我搭建了一个强大的数据预警模型

​数据分析能主动做出预警,是所有人的终极期望。可现实是很惨淡的,经常是指标已经下跌了,业务部门忙得团团转了,数据分析才慢慢悠悠地分析“昨天为啥DAU下降30%”。最后辛苦半天落个“我早知道了,早干啥去了!”的抱怨。那如何提前做出预警?今天系统讲解一下。一、第一步:清晰角色首先要清晰:预警是给到人的警报。因此谁需要听这个警报,是第一顺位要考虑的。在实际工作中,有四大类角色:进行预警第一步,就是要先明确要预警的业务场景,把一个场景内所有相关责任人都考虑进来,避免漏了角色(如下图)。二、第二步:收集动作其次要注意:问题因人而起,也因人而终。因此第二顺位需要考虑的,是这四类角色对指标走势,到底有啥影响

场景化、重实操,分享一个实时数仓实践案例

​大部分数据团队在进行实时业务建设的初期,都会出现烟囱式开发、一个任务搞定全部数据加工环节等问题,缺乏实时数据的管理和实时数仓分层建设的规范意识。随着实时场景的进一步丰富,出现了实时数据复用、业务方自助进行实时取数等需求,因此要求数据团队要像管理离线数据一样对实时数据进行有规范的实时数仓管理。本文将从一个实际业务场景和一个模拟数仓构建的案例来说明如何利用EasyData实时开发平台来建设实时数仓。1、实际业务场景1.1背景介绍业务方是某移动APP的运营团队,需求是要实时监控各类运营活动的ABtest的实验效果,以便业务方根据实验效果随时调整运营投放策略、投放目标用户和投放比例。1.2业务数据分

用艺术的眼光探索数据之美

独特的数据可视化技术,用于深入了解数据。当我们观想它时,它的美就显现出来了。可视化是一种更方便的方式,可以一目了然地了解大量数据。在深入分析的情况下,我们应该用数据图形表示技术的思想。我们经常使用barcharts,histograms,piecharts,boxplots,heatmaps,scatterplots,lineplots等等这些典型的图,这些图对于数据可视化是必不可少的。除了这些被广泛使用的情况外,还有许多精湛的情节却很少被使用。当我们考虑分析数据并以艺术方式表示时,这些图有助于发现洞察。1平行坐标图实际上,我们最多可以可视化3维数据。但有时,我们需要可视化超过3维的数据才能获

这才是真正的数据分析项目,而不是爬表

经常有同学抱怨:每天忙于取数,不知道有啥数据分析项目可以做。今天系统性介绍一下五大类数据分析项目。它们都是可以单独立项并且做出成绩的,一起来看一下。第一类:监控类监控类的需求很多,但做成项目就有一定难度了,因为很多时候业务方就是丢一纸临时取数需求,甚至一个电话过来口述一个朦胧的需求。这时候一定要做数据的同学自己打起12分精神了解需求背景。如果是:1、新上线的业务2、没有固定报表老业务3、多次开展的测试/活动都要和业务方坐下来详细聊聊,把业务流程,监控指标,关键KPI指标,定下来。至于输出形式可以看BI工具的完善程度和开发复杂度。能用看板的用看板,不能用看板的做自动化报表,总之把临时取数尽量干掉

聊聊大数据下的存算分离

最近跟好几个用户在交流的时候都提到了大数据的存算分离,有的是云厂商给他们推荐的方案,比如:某某运营商说最近xx云一直在给他们推荐存算分离化改造,背景是有个几十台的HDFS小集群,存储的文件数量比较多,经常性出问题,xx云的商务就跟他们说用对象存储如何如何来解决问题,听起来感觉有点道理,但是又拿不定主意,毕竟整个改造过程动静大、周期长,而且需要很大的投入,无论从建设周期还是成本投入上来看,都需要慎重考虑。有的是为了技术栈统一,比如:某某医药类企业,在整体技术架构重构时,已经引入了xx对象存储,基于技术栈统一的角度,想了解下大数据基于对象存储下存算分离是否可行,如果可行,有没有什么潜在的风险?上面

Java程序员必须掌握的十款开源工具!

​Java世界中存在许多工具,从Eclipse,NetBeans和IntelliJIDEA等著名的IDE开始到Java开发人员应该知道的JVM分析和监视工具,如JConsole,VisualVM,EclipseMemoryAnalyzer等。尽管如此,在本文中,我将重点介绍适用于各种Java开发人员的通用工具,例如核心Java开发人员和Web开发人员。1.JIRAAtlassian的JIRA是当前敏捷开发领域最重要的工具之一。它用于错误跟踪,问题跟踪和项目管理。如果你遵循敏捷开发方法,例如Sprint和Scrum,那么你必须了解JIRA。它允许您创建Spring循环并跟踪软件开发的进度。JIR

大数据已死!从业10年老哥爆文抨击:这套唬不住客户了

​本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。“大数据已死。”说这话的,正是来自Google十年员工,数据分析产品BigQuery创始成员之一,JordanTigani。在最新发布的一篇博文中,他表示——大数据概念在十多年前开始兴起,时至今日,销售们仍用“海量数据带来指数级增长曲线”说法,来勾起(唬住)客户为相关服务买单的欲望,否则就将被数字时代抛弃。作者自己也曾是其中之一。但现在,JordanTigani不仅认为这种说法行不通,还称——“数据大小根本不是问题所在。”那么问题在哪?他认为,我们已无需担心数据大小,而应专注于如何使用数据来做出更好的决策。如此言论之

我搭建了一个强大的数据预警模型

​数据分析能主动做出预警,是所有人的终极期望。可现实是很惨淡的,经常是指标已经下跌了,业务部门忙得团团转了,数据分析才慢慢悠悠地分析“昨天为啥DAU下降30%”。最后辛苦半天落个“我早知道了,早干啥去了!”的抱怨。那如何提前做出预警?今天系统讲解一下。一、第一步:清晰角色首先要清晰:预警是给到人的警报。因此谁需要听这个警报,是第一顺位要考虑的。在实际工作中,有四大类角色:进行预警第一步,就是要先明确要预警的业务场景,把一个场景内所有相关责任人都考虑进来,避免漏了角色(如下图)。二、第二步:收集动作其次要注意:问题因人而起,也因人而终。因此第二顺位需要考虑的,是这四类角色对指标走势,到底有啥影响