草庐IT

建设者

全部标签

得物供应链复杂业务实时数仓建设之路

1、背景得物供应链业务是纷繁复杂的,我们既有JIT的现货模式中间夹着这大量的仓库作业环节,又有到仓的寄售,品牌业务,有非常复杂的逆向链路。在这么复杂的业务背后,我们需要精细化关注人货场车的效率和成本,每一单的及时履约情况,要做到这一点我们需要各粒度和维度的数据来支撑我们的精细化管理。1.1业务早期业务早期,业务反馈我们后台管理系统某些报表查询慢。查询代码可知,如下图:这种现象一般表现为:大表JOIN,rdbms不擅长做数据聚合,查询响应慢,调优困难;多表关联,索引优化,子查询优化,加剧了复杂度,大量索引,读库磁盘空间膨胀过快;数据量大,多维分析困难,跨域取数,自助拉到实时数据困难等。一方面原因

得物供应链复杂业务实时数仓建设之路

1、背景得物供应链业务是纷繁复杂的,我们既有JIT的现货模式中间夹着这大量的仓库作业环节,又有到仓的寄售,品牌业务,有非常复杂的逆向链路。在这么复杂的业务背后,我们需要精细化关注人货场车的效率和成本,每一单的及时履约情况,要做到这一点我们需要各粒度和维度的数据来支撑我们的精细化管理。1.1业务早期业务早期,业务反馈我们后台管理系统某些报表查询慢。查询代码可知,如下图:这种现象一般表现为:大表JOIN,rdbms不擅长做数据聚合,查询响应慢,调优困难;多表关联,索引优化,子查询优化,加剧了复杂度,大量索引,读库磁盘空间膨胀过快;数据量大,多维分析困难,跨域取数,自助拉到实时数据困难等。一方面原因

DevOps工具链应该如何建设?

接下来让我们把目光再移向另一个热点平台---DevOps工具链,它之所以成为热点,就是因为越来越多具备不俗研发力量或资源的企业,希望通过平台建设,具备工程化承接数字化需求的能力。企业打算投资建设DevOps工具链之前,需要先明确哪些能力可以采购,哪些需要自己建设;核心的原则当然是,确定性强、标准化程度高的部分尽量采购,企业自身特点与行业差异化大、或有机会成为核心竞争力的部分。首先根据前文“数字化营销&运营平台”的案例里,平台化的过程识别到了三类工具:用户画像、漏斗分析等效率/能力提升工具,用于该领域内一线人员提升执行效率和能力;可视化看板类结果管理工具,用于对该领域内的产出结果进行管理(表现为

DevOps工具链应该如何建设?

接下来让我们把目光再移向另一个热点平台---DevOps工具链,它之所以成为热点,就是因为越来越多具备不俗研发力量或资源的企业,希望通过平台建设,具备工程化承接数字化需求的能力。企业打算投资建设DevOps工具链之前,需要先明确哪些能力可以采购,哪些需要自己建设;核心的原则当然是,确定性强、标准化程度高的部分尽量采购,企业自身特点与行业差异化大、或有机会成为核心竞争力的部分。首先根据前文“数字化营销&运营平台”的案例里,平台化的过程识别到了三类工具:用户画像、漏斗分析等效率/能力提升工具,用于该领域内一线人员提升执行效率和能力;可视化看板类结果管理工具,用于对该领域内的产出结果进行管理(表现为

离线数仓建设,企业大数据的业务驱动与技术实现丨03期直播回顾

原文链接:离线数仓建设,企业大数据的业务驱动与技术实现丨03期直播回顾视频回顾:点击这里课件获取:点击这里一、离线数仓建设背景离线数据是相对实时数据而言的数据产出,不同于实时数据,离线数据一般是T+1天处理,也就是说昨天产生的数据至少要今天才能看到计算结果。离线数据一般应用于对数据时效要求不高,需要基于一段时间的历史数据计算才能得到结果的场景,我们大致可以分为离线数据分析及数据应用两类,离线数据计算具备:数据准确度高、吞吐量大、计算成本低等特点。file离线数据应用的场景非常广泛,企业的数据迎来了爆发式的增长,目前企业数据规模巨大、数据类型多样、生成及处理速度极快、数据价值巨大但密度却较低,这

离线数仓建设,企业大数据的业务驱动与技术实现丨03期直播回顾

原文链接:离线数仓建设,企业大数据的业务驱动与技术实现丨03期直播回顾视频回顾:点击这里课件获取:点击这里一、离线数仓建设背景离线数据是相对实时数据而言的数据产出,不同于实时数据,离线数据一般是T+1天处理,也就是说昨天产生的数据至少要今天才能看到计算结果。离线数据一般应用于对数据时效要求不高,需要基于一段时间的历史数据计算才能得到结果的场景,我们大致可以分为离线数据分析及数据应用两类,离线数据计算具备:数据准确度高、吞吐量大、计算成本低等特点。file离线数据应用的场景非常广泛,企业的数据迎来了爆发式的增长,目前企业数据规模巨大、数据类型多样、生成及处理速度极快、数据价值巨大但密度却较低,这

小公司的前端建设的一些思考

在之前的企业项目开发中,做过一些前端基础建设和项目推进的工作。完成项目之后,一直没时间整理和反思在推进过程中,遇到的问题以及解决方案,由于前端团队人员较少,更多的是多人协作以及大家共同攻克一些问题。工具前端的编辑器,包括sublime,还有vscode,以及webstorm、atom这类编辑器,发展到现在,vscode成为了目前前端开发的主流编辑器在团队开发过程中,针对一些固定的插件,需要实现规范和统一。包括:tab缩进的大小,以及格式化的插件,例如在vue开发过程中,推荐使用Vetur进行格式化和代码约束,包括代码检查eslint这些工具。除了统一使用的插件作为规范以外,其他的插件作为个人爱

小公司的前端建设的一些思考

在之前的企业项目开发中,做过一些前端基础建设和项目推进的工作。完成项目之后,一直没时间整理和反思在推进过程中,遇到的问题以及解决方案,由于前端团队人员较少,更多的是多人协作以及大家共同攻克一些问题。工具前端的编辑器,包括sublime,还有vscode,以及webstorm、atom这类编辑器,发展到现在,vscode成为了目前前端开发的主流编辑器在团队开发过程中,针对一些固定的插件,需要实现规范和统一。包括:tab缩进的大小,以及格式化的插件,例如在vue开发过程中,推荐使用Vetur进行格式化和代码约束,包括代码检查eslint这些工具。除了统一使用的插件作为规范以外,其他的插件作为个人爱

关于linux:CUDA CUDPP .so建设

CUDACUDPP.sobuilding我想在我的项目中使用CUDPP库。我已经从项目页面下载了源代码。不幸的是,当我运行"make"时,只有静态库构建。我查看了Makefile文件并没有找到任何动态库配置。我不想在项目中保留静态库-它完全是不可移植的方式。我的问题是:如何构建CUDPP的.so动态库,而无需编写自己的Makefile/手动编译它?也许有人已经这样做了?编辑:我已将"g"替换为"g-fPIC",将"gcc"替换为"gcc-fPIC",并将"nvcc"替换为"nvcc-Xcompiler-fpic"。当我从存档中解压缩obj文件并将它们链接到共享库时,我没有收到任何错误。但是,当

关于linux:CUDA CUDPP .so建设

CUDACUDPP.sobuilding我想在我的项目中使用CUDPP库。我已经从项目页面下载了源代码。不幸的是,当我运行"make"时,只有静态库构建。我查看了Makefile文件并没有找到任何动态库配置。我不想在项目中保留静态库-它完全是不可移植的方式。我的问题是:如何构建CUDPP的.so动态库,而无需编写自己的Makefile/手动编译它?也许有人已经这样做了?编辑:我已将"g"替换为"g-fPIC",将"gcc"替换为"gcc-fPIC",并将"nvcc"替换为"nvcc-Xcompiler-fpic"。当我从存档中解压缩obj文件并将它们链接到共享库时,我没有收到任何错误。但是,当