索引前言1.Spark部署1.1下载Spark1.2解压Spark1.3修改环境变量1.4修改主机Spark配置文件1.4.1slaves.template文件配置1.4.2spark-env.sh.template文件配置1.5分享主机Spark到从机1.6启动Spark集群(★重启后的操作)1.7通过jps查看是否启动成功1.8通过网页查看是否启动成功2.ScalaMaven项目访问Spark(local模式)100个随机数求最大值2.1下载ScalaIDE2.2解压ScalaIDE2.3下载Scala(主机+从机)2.4添加环境变量(主机+从机)2.5创建Scala项目2.6配置Scal
ubuntu克隆下源码对其操作时git时偶发性报错 fatal:detecteddubiousownershipinrepository并提示可以：gitconfig--global--addsafe.directory/目录我们按提示执行确实可以短暂避免该问题，但治标不治本，且文件很多时需要一个个敲命令。产生这一问题的本质原因是下载代码的所有权没有转移，即你下载了别人的代码（一般使用docker下载后，本地编译容易出现），别人声明该代码所有权。所以，在修改代码时会报以上问题。因此，我们需要做的并不是声称哪目录是安全的，而是要将代码所有权转移。 使用以下命令将代码所有权转移gitconfig
时间过得真快，不知不觉间Ubuntu的桌面版本已经到了22.04。本文记录我在Ubuntu22.04下使用的部分软件，一方面供刚开始使用Ubuntu系统的朋友们参考，另外就是方便自己以后重装系统。下面介绍的软件，全部都是免费授权使用的，放心安装下载。内容比较多，请打开右侧的目录查看自己感兴趣的内容。一、浏览器Ubuntu22.04会默认安装Firefox浏览器，即便是最小安装模式下也会装上。火狐浏览器虽然表现不错，但某些网站表现不佳，或者就不支持，所以推荐再安装两个浏览器：GoogleChrome和MicrosoftEdge。三个浏览器都可以注册登录账户，从而实现同步功能。GoogleChro
感兴趣的话大家可以关注一下公众号:猿人刘先生,欢迎大家一起学习,一起进步,一起来交流吧!一.Docker简介Docker是一个开源的容器引擎，它有助于更快地交付应用。Docker可将应用程序和基础设施层隔离，并且能将基础设施当作程序一样进行管理。使用Docker可更快地打包、测试以及部署应用程序，并可以缩短从编写到部署运行代码的周期。1.Docker的优点1.1简化程序Docker让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，便可以实现虚拟化。Docker改变了虚拟化的方式，使开发者可以直接将自己的成果放入Docker中进行管理。方便快捷已经是
Windows/Ubuntu安装frida和objection1.Windows环境使用管理员权限安装frida,Ubuntu使用普通或Root权限安装均可https://github.com/frida/frida(1).安装frida(Python2.7.8及以上版本)pipinstallnumpymatplotlib-ihttps://mirrors.aliyun.com/pypi/simplepip install frida -i https://mirrors.aliyun.com/pypi/simplepip install frida-tools -i https://mir
搭建青龙面板首先有个服务器我这里看到华为云有活动就入手了一个1.系统选择centos7.9华为云购买地址：https://activity.huaweicloud.com/1212_promotion/index.html2.服务器上安装宝塔不想安装宝塔的也可以直接安装docker：https://blog.csdn.net/YXWik/article/details/128643662yuminstall-ywget&&wget-Oinstall.shhttp://download.bt.cn/install/install_6.0.sh&&shinstall.sh回复y安装即可yumins
环境准备服务器说明本次演示采用三台RockyLinux8.5版本服务器服务器IP备注es-master172.16.7.11主节点es-node01172.16.7.501节点es-node02172.16.7.1302节点内核版本[root@es-master~]#uname-aLinuxes-master4.18.0-348.20.1.el8_5.x86_64#1SMPThuMar1020:59:28UTC2022x86_64x86_64x86_64GNU/Linux修改系统名##主节点hostnamectlset-hostnamees-master##node1节点hostnamectl
三、安装Grafanadocker镜像3.1dockerpullgrafana/grafana$dockerpullgrafana/grafanaroot@docker-ubuntu:~#dockerpullgrafana/grafanaUsingdefaulttag:latestlatest:Pullingfromgrafana/grafana97518928ae5f:Pullcomplete5b58818b7f48:Pullcompleted9a64d9fd162:Pullcomplete4e368e1b924c:Pullcomplete867f7fdd92d9:Pullcomplete3
在中大型公司，由于对Trino源码的定制魔改量越来越大，会随着时间推移而增大出现冷门bug的概率，所以需要建立一套自动测试机制，在魔改源码合入主分支时可以自动触发testcase，通过特定单测的执行失败，来更清晰的判断是否过去的魔改涉及到了不符合社区源码原本假设的部分，并对魔改后的情况不一致进行修正。 GitlabRunner正好可以提供这样的机制，提升更早发现源码改动问题的效率。一、安装并注册GitlabRunnerGitlabRunner相当于Gitlab服务在另一个机器上的分布式slave节点，用于接收Gitlab主服务所在机器的任务并执行，并将执行结果汇报回Gitlab主服务节点。首先
准备工作#关闭防火墙[root@localhost~]# systemctlstopfirewalld[root@localhost~]#systemctldisablefirewalld#关闭selinux[root@localhost~]# sed-i's/enforcing/disabled/'/etc/selinux/config[root@localhost~]# setenforce0————————————————一、证书制作1.下载并解压easy-rsa软件包[root@localhost~]#yum-yinstallwgetunzipnet-tools[root@localh
