本项目为学校大数据工程实训项目,共开发4周,答辩成绩不错。代码仓库放文章尾,写的不好,代码仅供参考。搜索对于结构化数据,因为它们具有特定的结构,所以我们一般都是可以通过关系型数据库(MySQL,Oracle等)的二维表(Table)的方式存储和搜索,也可以建立索引。对于非结构化数据,也即对全文数据的搜索主要有两种方法:顺序扫描全文检索(1)顺序扫描:通过文字名称也可了解到它的大概搜索方式,即按照顺序扫描的方式查询特定的关键字。例如一张报纸,让找到该报纸中“平安”的文字在哪些地方出现过。肯定需要从头到尾把报纸阅读扫描一遍然后标记出关键字在哪些版块出现过以及它的出现位置。这种方式无疑是最耗时的最低
(一)克隆代码(clone):将远程仓库代码克隆到本地仓库克隆远程仓库某个分支gitclone-b远程分支名称https://github.com/master/master.git本地文件名称克隆远程仓库默认分支gitclonehttps://github.com/master/master.git(二)检出代码(checkout):将本地仓库代码检出到工作区创建新的分支并切换到这个分支gitcheckout-b分支名称切换到某个分支gitcheckout分支名称分支重命名gitbranch-m老分支名称新分支名称查看本地分支gitbranch查看远程分支gitbranch-r删除本地分支(
Linux下扫描WiFi常用命令1、查看指定无线网卡WiFi情况iwconfigwlan0#wlan0--->网卡名称2、nmcli命令基本操作连接:sudonmclidevicewificonnectwifinamepasswordwifipasswd删除:sudonmclicondelwifiname启动:sudonmcliconnectionupwifiname关闭:sudonmcliconnectiondownwifiname扫描:sudonmclidevicewifilist查看Device:sudonmclidevicestatusExample:#使用wlan0无线网卡连接000
1、创建目录创建单层目录执行命令:hdfsdfs-mkdir/ied利用HadoopWebUI查看创建的目录 创建多层目录,执行命令:hdfsdfs-mkdir/luzhou/lzy,会报错,因为/luzhou目录不存在 可以先创建/luzhou目录,然后在里面再创建lzy子目录,但是也可以一步到位,需要一个-p参数执行命令:hdfsdfs-mkdir-p/luzhou/lzy 利用HadoopWebUI查看创建的多层目录 2、查看目录执行命令:hdfsdfs-ls/,查看根目录 执行命令:hdfsdfs-ls/luzhou 查看根目录里全部的资源,要用到地柜参数-R(必须大写),执行命令:
1、创建目录创建单层目录执行命令:hdfsdfs-mkdir/ied利用HadoopWebUI查看创建的目录 创建多层目录,执行命令:hdfsdfs-mkdir/luzhou/lzy,会报错,因为/luzhou目录不存在 可以先创建/luzhou目录,然后在里面再创建lzy子目录,但是也可以一步到位,需要一个-p参数执行命令:hdfsdfs-mkdir-p/luzhou/lzy 利用HadoopWebUI查看创建的多层目录 2、查看目录执行命令:hdfsdfs-ls/,查看根目录 执行命令:hdfsdfs-ls/luzhou 查看根目录里全部的资源,要用到地柜参数-R(必须大写),执行命令:
引言:当容器部署涉及到多个节点服务器,用docker、docker-compose来部署就不是那么方便了,不能统一控制,不方便伸缩,配置统一管理、版本控制;当我们业务涉及到集群容器部署时,就考虑K8s、K3s来实现。k8s架构组成:(一)Master:apiserver、scheduler、controller-manager以及ETCD(多)Node:kubelet、kube-proxy、容器引擎(containerd、docker)Kube-apiserver:用于暴露kubernetesAPI,任何资源请求或调用操作都是通过kube-apiserver提供的接口进行。以HTTPRestf
第1章HBase简介1.1HBase定义HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。1.2HBase数据模型逻辑上,HBase的数据模型同关系型数据库很类似,数据存储在一张表中,有行有列。但从HBase的底层物理存储结构(K-V)来看,HBase更像是一个multi-dimensionalmap(多维地图)。1.2.1HBase逻辑结构Hbase基于HDFS1.2.2HBase物理存储结构1.2.3数据模型1)NameSpace命名空间,类似于关系型数据库的database概念,每个命名空间下有多个表。HBase两个自带的命名空间,分别是hbase和default,hb
Linux:cd/usr/local/nginx/sbin/./nginx启动./nginx-sstop停止./nginx-squit安全退出.nginx-sreload重新加载配置文件(修改了config配置文件后执行)psaux|grepnginx查看nginx进程Nginx默认端口是80端口,如果安装后访问不了,查看端口是否被占用。windows:查看端口号:netstat-ano|findstr'端口号'杀掉进程:taskkill/imnginx.exe-f启动直接点击Nginx目录下的nginx.exe或者cmd运行startnginx关闭nginx-sstop或者nginx-squ
Git常用命令format-patch我们在日常的开发中,需要将自己的改动给到其他同事时,经常需要将改动打补丁(patch)后进行处理。gitformat-patch是一种帮助开发人员从其git提交创建补丁的命令。这个命令很有用,可以用于各种原因,如代码审查、在分支之间共享代码更改以及向邮件列表提交补丁。对于gitformat-patch的补丁,可以使用gitam命令进行打入。本文我们将详细解释gitformat-patch和gitam命令以及如何有效使用它。1、format-patch基本用法$gitformat-patchfilename.patchgitformat-patch命令可以输
1.修改完,还未执行gitadd缓存区没有任何文件时,使用gitcheckout.将暂存区的文件覆盖工作区执行完gitadd.之后,再执行该命令是无效的,gitcheckout.和gitadd.是一对反义词gitcheckout(覆盖)1、只放弃工作区的改动,index保持不变,其实就是从当前index恢复工作区:放弃工作区中全部的修改gitcheckout.放弃工作区中某个文件的修改:gitcheckout--filename2、强制放弃index和工作区的改动:gitcheckout-f这是不可逆的操作,会直接覆盖,但是还是很有用的,有时候想放弃这些改动,使用svn的时候可以直接把文件删掉