在开发中遇到一个业务诉求，需要在千万量级的底池数据中筛选出不超过10W的数据，并根据配置的权重规则进行排序、打散（如同一个类目下的商品数据不能连续出现3次）。下面对该业务诉求的实现，设计思路和方案优化进行介绍。对“千万量级数据中查询10W量级的数据”设计了如下方案：多线程+CK翻页方案ESscrollscan深翻页方案ES+Hbase组合方案RediSearch+RedisJSON组合方案初版设计方案整体方案设计为：先根据配置的筛选规则，从底池表中筛选出目标数据在根据配置的排序规则，对目标数据进行排序，得到结果数据技术方案如下：①每天运行导数任务，把现有的千万量级的底池数据（Hive表）导入到

前言：在最近一年的工作中，很少能接触到内网渗透的工作，为了进一步锻炼内网渗透的能力，理清内网渗透中的思路及攻击手法，笔者打算对国内外的优秀内网靶场进行模拟实战训练，记录自己的思路以及不足处，本篇将记录对红日ATT＆CK系列靶场实战渗透过程。环境配置：腾讯云主机：81.x.x.x（攻击机）、192.168.54.129（Kali攻击机）win7(VM1)：192.168.54.128（模拟外网web服务器，可出网），192.168.52.143（NAT网卡，VMnet1网卡）windowsserver2003(VM2)：192.168.52.141，模拟内网域成员主机（VMnet1，不出网）wi

前言：在最近一年的工作中，很少能接触到内网渗透的工作，为了进一步锻炼内网渗透的能力，理清内网渗透中的思路及攻击手法，笔者打算对国内外的优秀内网靶场进行模拟实战训练，记录自己的思路以及不足处，本篇将记录对红日ATT＆CK系列靶场实战渗透过程。环境配置：腾讯云主机：81.x.x.x（攻击机）、192.168.54.129（Kali攻击机）win7(VM1)：192.168.54.128（模拟外网web服务器，可出网），192.168.52.143（NAT网卡，VMnet1网卡）windowsserver2003(VM2)：192.168.52.141，模拟内网域成员主机（VMnet1，不出网）wi

前言存在一些业务场景，需要离线同步数据到异构数据库，DataX算是一个不错的选择。不过开源版本只支持单进程，多线程，如果是需要多进程，需要业务在reader层面查询的时候就规划好对应进程需要读取的数据分片。1.png2.png实践当前例子为elasticsearch同步数据到clickhouse1，下载DataX源码编译（参考https://github.com/alibaba/DataX/blob/master/userGuid.md）gitclonehttps://github.com/alibaba/DataX.gitmvn-Ucleanpackageassembly:assembly-

前言存在一些业务场景，需要离线同步数据到异构数据库，DataX算是一个不错的选择。不过开源版本只支持单进程，多线程，如果是需要多进程，需要业务在reader层面查询的时候就规划好对应进程需要读取的数据分片。1.png2.png实践当前例子为elasticsearch同步数据到clickhouse1，下载DataX源码编译（参考https://github.com/alibaba/DataX/blob/master/userGuid.md）gitclonehttps://github.com/alibaba/DataX.gitmvn-Ucleanpackageassembly:assembly-