这就是我的数据集的样子:In[1]:df1=pd.DataFrame(np.random.rand(4,2),index=["A","B","C","D"],columns=["I","J"])In[2]:df2=pd.DataFrame(np.random.rand(4,2),index=["A","B","C","D"],columns=["I","J"])In[3]:df1Out[3]:IJA0.6756160.177597B0.6756930.598682C0.6313760.598966D0.2298580.378817In[4]:df2Out[4]:IJA0.9396200
这就是我的数据集的样子:In[1]:df1=pd.DataFrame(np.random.rand(4,2),index=["A","B","C","D"],columns=["I","J"])In[2]:df2=pd.DataFrame(np.random.rand(4,2),index=["A","B","C","D"],columns=["I","J"])In[3]:df1Out[3]:IJA0.6756160.177597B0.6756930.598682C0.6313760.598966D0.2298580.378817In[4]:df2Out[4]:IJA0.9396200
InstallElasticsearchwithRPM|ElasticsearchGuide[8.7]|Elastic准备了3台centos，ip分别是：1、192.168.1.1032、192.168.1.1483、192.168.1.192开始安装第1个节点1、rpm--importhttps://artifacts.elastic.co/GPG-KEY-elasticsearch2、vim/etc/yum.repos.d/elasticsearch.repo[elasticsearch]name=Elasticsearchrepositoryfor8.xpackagesbaseurl=h
在互联网请求中，客户端通常无法直接向服务端发起请求，就需要用代理服务，来实现客户端和的交互，起到一个中介的作用。Nginx代理服务常见模式Nginx代理按照应用场景模式可以分为正向代理和反向代理。正向代理是内部上网过程中，客户端经过代理访问服务端。反向代理是公司集群架构中，客户端通过代理反向返回数据给服务端。反向代理是负载均衡的前身，本篇文章详细给大家介绍Nginx反向代理。Nginx作为支持的代理协议超文本传输协议http/https协议tcp/dup协议http1.1长连接通讯协议go语言远程调用、python语言远程调用右键收发协议流媒体、直播、点播Nginx常用代理协议http_pro
我跟着一些网页教程提示部署我的集群，发现我集群里面的服务器互相看不到，于是咨询了我的老师，加上自己的实验终于成功了。因为之前网上找的参数和我的版本没对上,导致起不来，我这个集群服务器版本是8.3.11开始安装elasticsearch，导入gpg-keyrpm--importhttps://artifacts.elastic.co/GPG-KEY-elasticsearch2建elasticsearch的yum仓库, vim/etc/yum.repos.d/elasticsearch.repo 并且在库中输入以下内容：[elasticsearch]name=Elasticsearchrepo
硬件要求1、Master主机：2核CPU、4G内存、20G硬盘2、Node主机：4+核CPU、8G+内存、40G+硬盘2、集群中的所有机器的网络彼此均能相互连接（公网和内网都可以）3、节点之中不可以有重复的主机名、MAC地址或product_uuid4、开启机器上的某些端口5、为了保证kubelet正常工作，必须禁用交换分区各服务器初始化配置配置各主节点的主机名称hostnamectlset-hostnamek8smaster&&hostname#设置主节点1的主机名称配置各从节点的主机名称hostnamectlset-hostnamek8snode1&&hostname#设置从节点1的主机名
云原生大数据组件研究（Hive+Hadoop）前言网上的找的文档大多残缺不靠谱，所以我整理了一份安装最新版本的hive4..0.0+hadoop3.3.4的学习环境，可以提供大家安装一个完整的hive+hadoop的环境供学习。由于在公司担任大数据的培训工作后续还会更新一些基础的文章,希望能帮助到大家。一、安装Hadoop3.3.4前置：集群规划机器信息Hostnamek8s-masterk8s-node1k8s-node2外网IP内网IPNameNodeYNNSecondaryNameNodeNYNHDFSDataNodeYYYYARNResourceManagerYNNNodeManage
一、freezeindex冻结索引介绍Elasticsearch为了能够实现高效快速搜索，在内存中维护了一些数据结构，当索引的数量越来越多，那么这些数据结构所占用的内存也会越来越大，这是一个不可忽视的损耗。在实际的业务开展过程中，我们会发现，有些索引的数据是“热”数据，经常被查询，这些索引对应的数据结构维护在内存中以提供快速查询是非常正确的，而有些“温”数据（例如随时时间推移的历史数据），可能很久才需要被查询到，这时候一直维持在内存中就有些得不偿失了。为了解决这种情况，Elasticsearch提出了freezeindex冻结索引的功能。一个被冻结的索引的每个shard在被搜索时，Elasti
Hadoop自带S3依赖，位置如下：$HADOOP_HOME/share/hadoop/tools/lib/hadoop-aws-3.1.3.jar$HADOOP_HOME/share/hadoop/tools/lib/aws-java-sdk-bundle-1.11.271.jar但是这些依赖包默认不在hadoopclasspath下面。可以使用以下两种方法引入这两个包：在hadoop-env.sh中加入exportHADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HADOOP_HOME/share/hadoop/tools/lib/*。更改完毕后可以使用hadoopc
注：部分概念介绍来源于网络一、ElasticSearch集群的三种状态：Green-所有数据都可用，主副分片都已经分配好Yellow-所有数据都可用，但尚未分配一些副本，不影响查询，可能影响恢复。如果集群中的某个节点发生故障，则在修复该节点之前，某些数据可能不可用。Red-某些数据由于某种原因存在主分片未分配，对查询会有影响二、查询索引Yellow状态原因1、查看集群的健康并显示索引状态GET/_cluster/health?level=indices{ "cluster_name":"elasticsearch-1", "status":"green", "timed_out":false,
