草庐IT

唯品会 京东 淘宝 得物比价1.4.1,selenium登录后再隐藏浏览器

原创于本人微信公众号:阿嚏个技术文章地址:Compareprice比价10月8日更新-增加京东优惠券凑单        本次更新的版本为1.4.1,主要是增加了京东优惠券凑单页面的数据采集。该凑单页面需登录后才可以达到,软件会先打开京东登录页面:通过京东app扫码或账号登录,登录京东。登录过程需要在2分钟内完成,超过2分钟后需重新点软件开始打开登录页面登录。(介意登录后是否对账号有影响的,建议别用该功能)凑单的页面是从领取优惠券后跳转的页面,网址格式:https://search.jd.com/Search?coupon_batch=数字串:把该网址存在excel中导入到软件中(注意:第一行是

唯品会 京东 淘宝 得物比价1.4.1,selenium登录后再隐藏浏览器

原创于本人微信公众号:阿嚏个技术文章地址:Compareprice比价10月8日更新-增加京东优惠券凑单        本次更新的版本为1.4.1,主要是增加了京东优惠券凑单页面的数据采集。该凑单页面需登录后才可以达到,软件会先打开京东登录页面:通过京东app扫码或账号登录,登录京东。登录过程需要在2分钟内完成,超过2分钟后需重新点软件开始打开登录页面登录。(介意登录后是否对账号有影响的,建议别用该功能)凑单的页面是从领取优惠券后跳转的页面,网址格式:https://search.jd.com/Search?coupon_batch=数字串:把该网址存在excel中导入到软件中(注意:第一行是

得物AI平台-KubeAI推理训练引擎设计和实践

1.KubeAI介绍KubeAI是得物AI平台,是我们在容器化过程中,逐步收集和挖掘公司各业务域在AI模型研究和生产迭代过程中的需求,逐步建设而成的一个云原生AI平台。KubeAI以模型为主线提供了从模型开发,到模型训练,再到推理(模型)服务管理,以及模型版本持续迭代的整个生命周期内的解决方案。在数据方面,KubeAI提供基于cvat的标注工具,与数据处理及模型训练流程打通,助力线上模型快速迭代;提供任务/Pipeline编排功能,对接ODPS/NAS/CPFS/OSS数据源,为用户提供一站式AI工作站。平台自研推理引擎助力业务在提高模型服务性能的同时还能控制成本;自研训练引擎提高了模型训练任

得物自建DTS平台的技术演进

前言DTS是数据传输平台(DataTransferPlatform的缩写)随着得物App的用户流量增长,业务选择的数据库越来越多样化,异构数据源之间的数据同步需求也逐渐增多。为了控制成本并更好地支持业务发展,我们决定自建DTS平台。本文主要从技术选型、能力支持与演化的角度出发,分享了在DTS平台升级过程中获得的经验,并提供一些参考。1技术选型DTS的主要目标是支持不同类型的数据源之间的数据交互,包括关系型数据库(RDBMS)、NoSQL数据库、OLAP等,同时整合了数据库配置管理、数据订阅、数据同步、数据迁移、DRC双活数据同步支持、数据巡检、监控报警、统一权限等多个模块,以构建安全、可扩展、

基于微信小程序实现得物租借管理系统【附项目源码+论文说明】

基于微信小程序实现得物租借管理系统演示摘要随着智能应用程序开发的普及,各种应用程序在人们的视野中如雨后春笋般涌现。同时,带来了很多不便,功能多种多样,使人们无法选择。同时,它也对智能手机的存储容量进行了相当大的考验。硬件升级只是一个无奈的解决方案。由此,微信小程序应运而生。将传统的应用程序和微信小程序相比,微信小程序不占用手机的存储空间,节省了流量和安装的繁琐操作。尽管在使用层面上无法与传统应用相比,但它可以实现基本功能。用户界面和操作步骤非常简单,大大降低了用户的操作难度。适合多年龄段的用户。同时,微信应用程序的开发成本较低,因此开发团队可以将大部分成本投入运营和推广,从而专注于产品本身。微

一年省七位数,得物自建HFDS在 Flink Checkpoint 场景下的应用实践

1、背景随着阿里云Flink实例的迁移下云以及新增需求接入,自建Flink平台规模逐渐壮大,当前总计已超4万核运行在自建的K8S集群中,然而Flink任务数的增加,特别是大状态任务,每次Checkpoint时会产生脉冲式带宽占用,峰值流量超过100Gb/s,早期使用阿里云OSS作为Checkpoint数据存储,单个Bucket每1P数据量只有免费带宽10Gb/s,超出部分单独计费,当前规模每月需要增加1xw+/月。为了控制这部分成本,得物开展了自建HDFS在FlinkCheckpoint场景下的落地工作,实现年度成本节省xxx万元。此次分享自建HDFS在实时计算checkpoint场景的实践经

海纳“千川”:得物多场景统一推荐平台

一、千川由来得物的推荐场景,除了首页瀑布流等几个比较大的场景之外,还有很多长尾的小场景,包括:频道、会场、购中购后场景、品牌墙等。这类场景存在单个场景体量小(UV和GMV均偏小)、场景零散、类型多元的情况。如需对这类场景进行单独优化,涉及的成本投入远高于产出。而随着业务发展,这类长尾场景只会越来越多,对这类场景的优化亟待解决。因此,我们需要这样一个通用推荐平台,来承接住这些小场景,并能够持续优化,带来收益。“化零为整”、“兼容并包”、“统一平台”,这就是千川。二、千川需要解决的难题结合各类需求及定位,千川作为统一推荐系统,面临不少难题,至少需具备五种能力。困难能力挑战场景商品集不同灵活圈选商品

BeyondCorp 打造得物零信任安全架构

1. 背景 当前,大部分企业都使用防火墙(firewall)来加强网络边界安全。然而,这种安全模型是有缺陷,因为当该边界被破坏,攻击者可以相对容易地访问公司的特权内部网。边界安全模型通常被比作中世纪城堡:城墙厚厚的堡垒,四周有护城河,戒备森严单点入口和出口。任何位于墙外的东西都被认为是危险的,而位于墙内的任何东西都是可信的。任何通过吊桥的人可以随时访问城堡的资源。传统的安全模型:当所有员工都在公司提供的办公地点工作时,这种方式可以很好的工作,随着移动办公的出现、以及当前疫情的关系,越来越多人在家办公,这种安全模型的方式不再成立。虽然大多数企业认为内部网络是应用的安全环境,但Google的经验证

得物H5容器野指针疑难问题排查 & 解决

1、背景得物iOS4.9.x版本上线后,一些带有横向滚动内容的h5页面,有一个webkit相关crash增加较快。通过Crash堆栈判断是UIScrollview执行滚动动画过程中内存野指针导致的崩溃。2、前期排查通过页面浏览日志,发现发生崩溃时所在的页面都是在h5web容器内,且都是在页面的生命周期方法viewDidDisappear方法调用后才发生崩溃,因此推测崩溃是在h5页面返回时发生的。刚好交易的同事复现了崩溃证实了我们的推测。因此可以基本确定:崩溃的原因是页面退出后,页面内存被释放,但是滚动动画继续执行,这时崩溃堆栈中scrollview的delegate没有置空,系统继续执行del

得物热点探测技术架构设计与实践

1.概述说到热点问题,首先我们先理解一下什么是热点?热点通常意义来说,是指在一段时间内,被广泛关注的物品或事件,例如微博热搜,热卖商品,热点新闻,明星直播等等,所以热点产生主要包含2个条件:1.有限时间,2流量高聚。而在互联网领域,热点又主要分为2大类:1.有预期的热点:比如在电商活动当中推出的爆款联名限量款的商品,又或者是秒杀的会场活动等2.无预期的热点:比如受到了黑客的恶意攻击,网络爬虫频繁访问,又或者突发新闻带来的流量冲击等针对于有预期的热点可以通过热点数据预热,流量限制和异步队列进行处理。但是对于突发性无感知的热点数据流量,往往由于请求过于集中,导致访问数据流量超出的server的正常