2022年11月，由51CTO主办的《中国企业“IT印象◆激扬创新动能，掘金数字时代”年终评选》活动全面启动。依托互联网，本次评选活动主要从品牌、产品与技术、解决方案、应用服务等维度进行，通过媒体曝光、微信微博曝光、编辑推荐等方式，对2022年的中国企业级IT技术、产品、应用等创新成就进行总结。同时，为企业在数字化转型过程中的技术、产品、解决方案选型，提供有力的参考。截止到2022年12月28日，激扬创新动能，掘金数字时代｜2022年第十七届中国企业年终评选榜单正式揭晓。亿万克分布式存储在大型数据仓库的解决方案凭借其良好的扩展能力、高可靠性及数据安全性，荣获2022年度IT行业优秀解决方案奖。

2022年11月，由51CTO主办的《中国企业“IT印象◆激扬创新动能，掘金数字时代”年终评选》活动全面启动。依托互联网，本次评选活动主要从品牌、产品与技术、解决方案、应用服务等维度进行，通过媒体曝光、微信微博曝光、编辑推荐等方式，对2022年的中国企业级IT技术、产品、应用等创新成就进行总结。同时，为企业在数字化转型过程中的技术、产品、解决方案选型，提供有力的参考。截止到2022年12月28日，激扬创新动能，掘金数字时代｜2022年第十七届中国企业年终评选榜单正式揭晓。亿万克分布式存储在大型数据仓库的解决方案凭借其良好的扩展能力、高可靠性及数据安全性，荣获2022年度IT行业优秀解决方案奖。

一、场景描述：小强作为一名数据工程师，给予hadoop生态，经常会接到类似uv的去重统计。对于这种需求，一般的数据工程师撸起袖子直接干！一般情况下不会有问题。某一天，你公司突然业务发展发展起来，数据量慢慢暴涨，你会突然发现之前的countdistinct去重经常oom或是龟速出数据。上来一股脑加内存！加！果断加！某一天你老板要你在原来按天的uv加一个月uv、年uv，这时你慌了。只会说“老板！加机器，内存不够！”。老板说：“算个uv你就想骗我钱？你明天不用来上班了！”打不死的小强这时拼命百度，在网上找到许多神乎其神的方法…二、常用方法1.优化sql小强把原有的countdistinct去重改成了

一、场景描述：小强作为一名数据工程师，给予hadoop生态，经常会接到类似uv的去重统计。对于这种需求，一般的数据工程师撸起袖子直接干！一般情况下不会有问题。某一天，你公司突然业务发展发展起来，数据量慢慢暴涨，你会突然发现之前的countdistinct去重经常oom或是龟速出数据。上来一股脑加内存！加！果断加！某一天你老板要你在原来按天的uv加一个月uv、年uv，这时你慌了。只会说“老板！加机器，内存不够！”。老板说：“算个uv你就想骗我钱？你明天不用来上班了！”打不死的小强这时拼命百度，在网上找到许多神乎其神的方法…二、常用方法1.优化sql小强把原有的countdistinct去重改成了