草庐IT

HDFS总结

全部标签

10大常见网络安全攻击手段及防御方法总结

1、XSS跨站脚本攻击  相关研究表明,跨站脚本攻击大约占据了所有攻击的40%,是最为常见的一类网络攻击。但尽管最为常见,大部分跨站脚本攻击却不是特别高端,多为业余网络罪犯使用别人编写的脚本发起的。  跨站脚本针对的是网站的用户,而不是Web应用本身。恶意黑客在有漏洞的网站里注入一段代码,然后网站访客执行这段代码。此类代码可以入侵用户账户,激活木马程序,或者修改网站内容,诱骗用户给出私人信息。  防御方法:设置Web应用防火墙可以保护网站不受跨站脚本攻击危害。WAF就像个过滤器,能够识别并阻止对网站的恶意请求。购买网站托管服务的时候,Web托管公司通常已经为你的网站部署了WAF,但你自己仍然可

2024年1月总结及随笔之多事之秋+流年不利

1. 回头看日更坚持了396天。读《算法霸权》更新完成读《元宇宙改变一切》开更并更新完成读《AI3.0》开更并更新完成2023年至2024年1月底累计码字814407字,累计日均码字2056字2024年1月码字96444字,同比增长120.7%,环比增长34%,日均码字数3111字,累计码字96444字,累积日均码字3111字。读完以下这些书写给地球人的《三体》说明书有意思,开眼界,拓展了思维,推荐阅读智囊:白话精华本蒙曼精选隋唐大历史(套装共7册)经纬度丛书·秦制两千年:封建帝王的权力规则观点新颖,不同于其他历史书中的歌功颂德,而是另辟蹊径解读,推荐阅读道德经其实很好懂大唐兴亡三百年12.2

详解SpringCloud微服务技术栈:DSL查询ES文档高级语法、相关性算分数学原理总结

👨‍🎓作者简介:一位大四、研0学生,正在努力准备大四暑假的实习🌌上期文章:详解SpringCloud微服务技术栈:ElasticSearch实践1——RestClient操作索引库与文档📚订阅专栏:微服务技术全家桶希望文章对你们有所帮助之前已经使用了DSL实现了索引的增删改查以及文档的增删改,并且通过RestClient进行实现。但是文档的查询操作很复杂,并且分类比较多,所以先用DSL语句进行各种查询操作的实现,再用RestClient实现各类查询。DSL查询ElasticSearch文档DSL查询分类和基本语法全文检索查询精确查询地理查询复合查询相关性算分FunctionScoreQuery

git常用命令简单总结并附上值得推荐的好文章

💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗关注git在本地的配置问题,可以参考这篇文章,写的较为详细:非常详细的Git环境配置步骤,如果相以gitee作为远程仓库也是同样的操作😊下面这张图个人觉得很不错,等学完了这一套之后就会觉得是真牛逼画的👉初始化相关操作:gitinit:初始化本地仓库,建立工作区,并对工作区进行版本监控gitstatus:查看当前状态,可以显示文件的新建、修改、删除等等操作gitadd.:添加工作区所有文件到到版本库的暂存区中,如果你要提交的是单个文件,你也可以用gitadd后面跟单个或者多个那文件即可👉提交到版本库分支:gitcommit-m"c

Python自动化:selenium常用方法总结

使用的Python版本为3.8,selenium版本为4.15.2Python自动化:selenium常用方法总结1.三种等待方式2.浏览器操作3.8种查找元素的方法4.高级事件1.三种等待方式强制等待使用模块time下的sleep()实现等待效果隐式等待使用driver.implicitly_wait()方法,具有全局性,在代码前面设置后,整个程序运行过程中都会有效,都会等待页面加载完成,在执行后续,不需要每次设置一次。缺点:非要加载整个页面才执行代码,这样影响代码的执行效率。参考代码:fromseleniumimportwebdriverdriver=webdriver.Chrome()d

一百八十二、大数据离线数仓完整流程——步骤一、用Kettle从Kafka、MySQL等数据源采集数据然后写入HDFS

一、目的经过6个月的奋斗,项目的离线数仓部分终于可以上线了,因此整理一下离线数仓的整个流程,既是大家提供一个案例经验,也是对自己近半年的工作进行一个总结。二、项目背景项目行业属于交通行业,因此数据具有很多交通行业的特征,比如转向比数据就是统计车辆左转、右转、直行、掉头的车流量等等。三、业务需求(一)预估数据规模(二)指标查询频率指标的实时查询由Flink实时数仓计算,离线数仓这边提供指标的T+1的历史数据查询四、数仓技术架构(一)简而言之,数仓模块的数据源是Kafka,终点是ClickHouse数据库第一步,用kettle采集Kafka的数据写入到HDFS中;第二步,在Hive中建数仓,ODS

Python 的一些日常高频写法总结!

今天给大家准备了60个Python日常高频写法,如果觉得有用,那就点赞收藏起来吧~一、数字1求绝对值绝对值或复数的模In [1]: abs(-6)Out[1]: 62进制转化十进制转换为二进制:In [2]: bin(10)Out[2]: '0b1010'十进制转换为八进制:In [3]: oct(9)Out[3]: '0o11'十进制转换为十六进制:In [4]: hex(15)Out[4]: '0xf'3整数和ASCII互转十进制整数对应的ASCII字符In [1]: chr(65)Out[1]: 'A'查看某个ASCII字符对应的十进制数In [1]: ord('A')Out[1]: 6

Unity 面试篇|(六)数据结构和算法篇 【全面总结 | 持续更新】

目录1.十大排序简述2.请写一个方法判断一个整数是奇数还是偶数。3.请写一个方法判断一个整数是否是2的n次方。4.对字节变量,其二进制表示法中求有多少个1,如00101010则返回值为3,也是要求效率最高。5.100万的数据选出前1万大的数6.二分查找7.BFS(广度优先搜索)8.DFS(深度优先搜索)9.请写出求斐波那契数列任意一位的值的算法10.下列代码在运行中会产生几个临时对象?11.怎么判断一个点是否在直线上?12.判断点是否在线段上?13.解决哈希冲突的方法14.常用的hash算法15.逆矩阵的作用16.数组和List的区别17.数据结构中数组和链表各有什么特点,什么场合下应该使用数

算法技巧:双指针总结(1)

1.双指针的技巧双指针大致分为二类,一个是快慢指针,剩下一个是左右指针,左右指针中,通常会将单调性与左右指针一起结合。注意:这里所指的双指针在某一些题目中是指针,但大多数都是数组元素下标接下来,用题目去说明题一:移动零 1.1链接283.移动零-力扣(LeetCode)1.2思路前提:数组长度为n,数组为nums首先定义两个变量des和cur,用cur去遍历整个数组,我们要实现[0,des]为非零,[dest+1,cur-1]为零,[cur,n]为待处理数据,就拿[0,1,0,3,12]来说明,我们要实现数组分块的效果.首先,cur位于元素下标为0处,des赋值为-1(这样是为了满足区间的合法

MongoDB中使用Criteria查询:常用语法总结

【辰兮要努力】:hello你好我是辰兮,很高兴你能来阅读,昵称是希望自己能不断精进,向着优秀程序员前行!博客来源于项目以及编程中遇到的问题总结,偶尔会有读书分享,我会陆续更新Java前端、后台、数据库、项目案例等相关知识点总结,感谢你的阅读和关注,希望我的博客能帮助到更多的人,分享获取新知,大家一起进步!吾等采石之人,应怀大教堂之心,愿我们奔赴在各自的热爱里…1、查询字段不为空的数据使用neCriteria.where("key").ne("").ne(null)使用ninCriteriacriteria=where("key").nin("",null)补充查询某个字段是否存在:想要筛选某个