1、效率低传统的数仓大多构建在Hadoop之上。这位传统的数仓带来了近乎无限的横向扩展能力，同时也造成了传统的数仓技术效率低的缺陷。效率低主要体现在以下几个方面。部署效率低：在部署Hive/HBase/Kylin之前，必须部署好Hadoop集群。和传统数据库相比，这个部署效率是非常低效的。运维效率低：Hive/HBase/Kylin基于Hadoop，Hadoop生态会带来一个非常严重的单点故障问题，即Hadoop体系中任何一个组件出现问题，都可能引起整个系统的不可用。使用传统的数仓对运维的要求非常高。计算效率低：主要体现在Hive和Kylin上，这两个数仓没有自己的存储引擎和计算引擎，这导致H
1、背景任何一个系统，为了保证其良好地运行下去，一定是需要持续的维护和治理，数仓也不例外。本文主要分享下今年严选数仓团队从规范、计存、质量、安全几块入手对现有数据资产进行的一些治理的思路和方案。网易严选是个自营品牌电商，这意味着严选的业务会覆盖C端的用户营销，商品到B端的供应链以及财务业务。业务和数据的整体复杂度会相对较高，各个不同业务域也呈现出不同的特点和问题。所以我们需要结合现有的资产特点去设计治理方法论和效果评估方法，然后围绕着治理方法论去建设我们的治理工具。治理开始前，先盘一下我们可用的资源，设计下整体的方向。从人力上来说，项目整体设计与推动大概可投入1.5人力，治理实施可以拉上资产对
1、背景任何一个系统，为了保证其良好地运行下去，一定是需要持续的维护和治理，数仓也不例外。本文主要分享下今年严选数仓团队从规范、计存、质量、安全几块入手对现有数据资产进行的一些治理的思路和方案。网易严选是个自营品牌电商，这意味着严选的业务会覆盖C端的用户营销，商品到B端的供应链以及财务业务。业务和数据的整体复杂度会相对较高，各个不同业务域也呈现出不同的特点和问题。所以我们需要结合现有的资产特点去设计治理方法论和效果评估方法，然后围绕着治理方法论去建设我们的治理工具。治理开始前，先盘一下我们可用的资源，设计下整体的方向。从人力上来说，项目整体设计与推动大概可投入1.5人力，治理实施可以拉上资产对
随着大数据和数据湖的发展，数据建模似乎濒临灭亡。数据湖的开发者留下了大量数据沼泽，所以建模活动还是必须的。那么为什么仍然存在关于数据建模的问题呢？当然有各种各样的原因。有些问题至少已有30年历史，而最近人们更加认为使用云数据平台和分析数据架构的ELT方法所致。下面我们看看常见的阻碍数据建模的原因：1.缺乏兴趣——企业真的不在乎尽管CIO和CEO宣传“数据驱动”，但对于某些企业而言，数据的管理和利用并没有放在主要日程上，至少在高层是这样。这可能是可以理解的——并非每个企业都是“数据企业”；数据可能很重要，但仅在特定的独立领域内使用。有些组织从事采购和销售产品、提供法律顾问等行业，这并不是说他们不
随着大数据和数据湖的发展，数据建模似乎濒临灭亡。数据湖的开发者留下了大量数据沼泽，所以建模活动还是必须的。那么为什么仍然存在关于数据建模的问题呢？当然有各种各样的原因。有些问题至少已有30年历史，而最近人们更加认为使用云数据平台和分析数据架构的ELT方法所致。下面我们看看常见的阻碍数据建模的原因：1.缺乏兴趣——企业真的不在乎尽管CIO和CEO宣传“数据驱动”，但对于某些企业而言，数据的管理和利用并没有放在主要日程上，至少在高层是这样。这可能是可以理解的——并非每个企业都是“数据企业”；数据可能很重要，但仅在特定的独立领域内使用。有些组织从事采购和销售产品、提供法律顾问等行业，这并不是说他们不
导读：本文将介绍360数科在基于沉淀数据的尾部流量建模方法的实践。分享分为四部分，第一部分介绍尾部流量和沉淀数据的特点，第二部分介绍尾部流量在低通过率的情况下如何进行样本扩容，第三部分讨论如何根据沉淀数据时效性进行分群，第四部分介绍头部优质客户的排序优化。具体如下：尾部流量及沉淀数据的特点低通过率下的样本扩容沉淀数据时效性分群头部优质客户排序优化在分享以上四部分内容之前，结合过往经验，首先简单介绍风控建模的四板斧：特征挖掘、样本分群、标签优化及算法提升。如果前四种方法都不能有效地提升模型效果，第五板斧是大数据建模。当数据维度从100万、200万提升到500万级别的时候（甚至更大级别），大数据建
导读：本文将介绍360数科在基于沉淀数据的尾部流量建模方法的实践。分享分为四部分，第一部分介绍尾部流量和沉淀数据的特点，第二部分介绍尾部流量在低通过率的情况下如何进行样本扩容，第三部分讨论如何根据沉淀数据时效性进行分群，第四部分介绍头部优质客户的排序优化。具体如下：尾部流量及沉淀数据的特点低通过率下的样本扩容沉淀数据时效性分群头部优质客户排序优化在分享以上四部分内容之前，结合过往经验，首先简单介绍风控建模的四板斧：特征挖掘、样本分群、标签优化及算法提升。如果前四种方法都不能有效地提升模型效果，第五板斧是大数据建模。当数据维度从100万、200万提升到500万级别的时候（甚至更大级别），大数据建
前言Databend是一款完全面向云对象存储的新一代云原生数据仓库，专为弹性和高效设计，为您的大规模分析需求保驾护航。Databend同时是一款符合Apache-2.0协议的开源软件，除了访问云服务（https://app.databend.com/）之外，用户还可以自己部署Databend生产集群以满足工作负载需要。Databend的典型使用场景包括：实时分析平台，日志的快速查询与可视化。云数据仓库，历史订单数据的多维度分析和报表生成。混合云架构，统一管理和处理不同来源和格式的数据。成本和性能敏感的OLAP场景，动态调整存储和计算资源。KubeSphere是在Kubernetes之上构建的
前言Databend是一款完全面向云对象存储的新一代云原生数据仓库，专为弹性和高效设计，为您的大规模分析需求保驾护航。Databend同时是一款符合Apache-2.0协议的开源软件，除了访问云服务（https://app.databend.com/）之外，用户还可以自己部署Databend生产集群以满足工作负载需要。Databend的典型使用场景包括：实时分析平台，日志的快速查询与可视化。云数据仓库，历史订单数据的多维度分析和报表生成。混合云架构，统一管理和处理不同来源和格式的数据。成本和性能敏感的OLAP场景，动态调整存储和计算资源。KubeSphere是在Kubernetes之上构建的
实现功能：python实现Lasso回归分析（特征筛选、建模预测）输入结构化数据，含有特征以及相应的标签，采用Lasso回归对特征进行分析筛选，并对数据进行建模预测。实现代码：importnumpyasnpimportwarningswarnings.filterwarnings(action='ignore')importpandasaspdimportmatplotlib.pyplotaspltfromsklearnimportmetricsfromsklearn.metricsimportmean_squared_errorfromsklearn.linear_modelimportLa
