草庐IT

效率提升 10 倍!达达基于 StarRocks 极速统一的智能配送再升级

作者|达达快送大数据运维数据库工程师刘明达达快送是达达集团旗下中国领先的本地即时配送平台,与传统物流相比,即时配送具有速度快、效率高、服务范围广等优势。为了提高数据分析的效率,达达先后在OLAP层引进了ApacheKylin、Elasticsearch、ApacheDruid、ClickHouse和ApacheDoris等组件。在综合考量查询性能、系统稳定性以及社区活跃度等因素后,达达最终选择了StarRocks作为统一的OLAP引擎。这一决策不仅使物理机器成本降低了30%,还大幅提高了数据开发效率,在某些场景下查询性能提升了10倍以上。在应用方面,达达基于StarRocks构建实时数仓和流批

Apache Doris 2.0.0 版本正式发布:盲测性能 10 倍提升,更统一多样的极速分析体验

亲爱的社区小伙伴们,我们很高兴地向大家宣布,ApacheDoris2.0.0版本已于2023年8月11日正式发布,有超过275位贡献者为ApacheDoris提交了超过 4100个优化与修复。在2.0.0版本中,ApacheDoris在标准Benchmark数据集上盲测查询性能得到超过10倍的提升、在日志分析和数据湖联邦分析场景能力得到全面加强、数据更新效率和写入效率都更加高效稳定、支持了更加完善的多租户和资源隔离机制、在资源弹性与存算分离方向踏上了新的台阶、增加了一系列面向企业用户的易用性特性。在经过近半年的开发、测试与稳定性调优后,这一版本已经正式稳定可用,欢迎大家下载使用。GitHub下

挑战英伟达H100霸权!IBM模拟人脑造神经网络芯片,效率提升14倍,打破AI模型耗电难题

最近,IBM推出一款全新的14nm模拟AI芯片,效率达到了最领先GPU的14倍,可以让H100物有所值。论文地址:https://www.nature.com/articles/s41928-023-01010-1目前,生成式AI发展道路上最大的拦路虎,就是它惊人的耗电量。AI所需的资源,是不可持续增长的。而IBM,一直在研究重塑AI计算的方法。他们的一大成就,就是模拟内存计算/模拟人工智能方法,就可以借助神经网络在生物大脑中运行的关键特征,来减少能耗。这种方法,可以最大限度地减少我们在计算上花费的时间和精力。英伟达的垄断,要被颠覆了?IBMAI未来的最新蓝图:模拟AI芯片能效高出14倍根据外

微信小程序(原生)——video视频禁止拖动进度条、可全屏观看等视频播放结束事件、数据监听、显示播放时长、固定倍速、视频去除黑边等

一、案例演示保留播放暂停、全屏按钮,进度条隐藏掉、手势拖动禁用代码videoid="myVideo"src="http://wxsnsdy.tc.qq.com/105/20210/snsdyvideodownload?filekey=30280201010421301f0201690402534804102ca905ce620b1241b726bc41dcff44e00204012882540400&bizid=1023&hy=SH&fileparam=302c020101042530230204136ffd93020457e3c4ff02024ef202031e8d7f02030f42400

python - 如何在 Scikit-Learn 中绘制超过 10 倍交叉验证的 PR 曲线

我正在针对二进制预测问题运行一些监督实验。我使用10折交叉验证来评估平均精度的性能(每折的平均精度除以交叉验证的折数-在我的例子中为10)。我想绘制这10次折叠的平均精度结果的PR曲线,但我不确定执行此操作的最佳方法。Apreviousquestion在CrossValidatedStackExchange网站上提出了同样的问题。一条建议通过thisexample解决的评论从Scikit-Learn站点绘制跨交叉验证折叠的ROC曲线,并将其调整为平均精度。这是我为尝试这个想法而修改的相关代码部分:fromscipyimportinterp#Otherpackages/functions

python - 为什么这个 Python 脚本在多核上的运行速度比在单核上慢 4 倍

我想了解CPython的GIL是如何工作的,以及CPython2.7.x和CPython3.4.x中的GIL有什么区别。我正在使用此代码进行基准测试:from__future__importprint_functionimportargparseimportresourceimportsysimportthreadingimporttimedefcountdown(n):whilen>0:n-=1defget_time():stats=resource.getrusage(resource.RUSAGE_SELF)total_cpu_time=stats.ru_utime+stats.

第三个脚本——时间加速and视频倍速

目录本文主要内容granr属性介绍run-at属性时间加速原理视频倍速原理完整示例本文主要内容介绍grant属性,run-at属性以及时间加速,视频倍速原理granr属性介绍相关函数四个:GM_setValueGM_getValueGM_listValuesGM_deleteValue当然,还有存储内容变动时相关的函数GM_addValueChangeListenerGM_removeValueChangeListener接下来分别介绍一下GM_setValue: 假设代码 GM('myName','woonigh'在Tampermonkey管理的存储中,把名字是myName的存储,设置值为'

python - 是什么导致我的矩阵向量乘法的 Cython 实现速度减慢 2 倍?

我目前正尝试在Cython中实现基本的矩阵向量乘法(作为muchlargerprojecttoreducecomputation的一部分)并发现我的代码比Numpy.dot慢大约2倍。我想知道是否有什么东西是我遗漏的导致速度变慢的。我正在编写优化的Cython代码,声明变量类型,需要连续数组,并避免缓存未命中。我什至尝试将Cython作为包装器并调用nativeC代码(见下文)。我想知道:我还能做些什么来加快我的实现速度,使这个基本操作的运行速度与NumPy一样快?我使用的Cython代码如下:importnumpyasnpcimportnumpyasnpcimportcythonDT

python - Tensorflow 2.0 Keras 的训练速度比 2.0 Estimator 慢 4 倍

我们最近为TF2.0切换到Keras,但是当我们将它与2.0上的DNNClassifierEstimator进行比较时,我们发现Keras的速度慢了大约4倍。但我一辈子都弄不明白为什么会这样。两者的其余代码是相同的,使用返回相同tf.data.Dataset的input_fn(),并使用相同的feature_columns。几天来一直在努力解决这个问题。任何帮助将不胜感激。谢谢估算器代码:estimator=tf.estimator.DNNClassifier(feature_columns=feature_columns,hidden_units=[64,64],activation

python - PyTables 处理大小比内存大很多倍的数据

我试图了解PyTables如何管理大小大于内存大小的数据。这是PyTables(linktoGitHub)代码中的注释:#Nodesreferencedbyavariablearekeptin`_aliveNodes`.#Whentheyarenolongerreferenced,theymovethemselves#to`_deadNodes`,wheretheyarekeptuntiltheyarereferencedagain#ortheyarepreemptedfromitbyotherunreferencednodes.也可以在_getNode中找到有用的评论方法。看起来Py