使用golang基于OpenAIEmbedding+qdrant实现k8s本地知识库文章博客地址:套路猿-使用golang基于OpenAIEmbedding+qdrant实现k8s本地知识库流程将数据集通过openaiembedding得到向量+组装payload,存入qdrant用户进行问题搜索,通过openaiembedding得到向量,从qdrant中搜索相似度大于0.8的数据从qdrant中取出相似度高的数据将获取到的QA,组装成prompt向chatgpt进行提问,得到回答向量数据库qdrantqdrant是一个开源的向量搜索引擎,支持多种向量距离计算方式官方文档:https://q
目录一：内核参数优化1.1增大内核选项配置/etc/sysctl.conf：1.2其他的内核参数二：Etcd性能优化2.1磁盘2.2etcd进程设置优先级2.3增大etcd的存储限制2.4提高etcd对于对等网络流量优先级2.5其他优化方案2.6etcd的备份2.6.1内置快照2.6.2卷快照2.7etcd恢复三：镜像拉取相关配置优化3.1docker优化3.1.1配置dockerdaemon并行拉取镜像，以提高镜像拉取效率3.1.2使用localSSD或者高性能云盘作为docker容器的持久数据目录3.1.3预加载pause镜像3.2kubelet优化3.2.1增加并发度3.2.2配置镜像拉
k8s收集日志写在前面：k8s在1.23版本之后就不用fluentd-es来收集日志了，而是把日志通过fluentd把日志直接打到存储，所以下面的文件在后面的版本已经没有了，不过还是照样可以用一.收集控制台日志采用fluentd+es+kibana来做所需要的文件可以在这里找https://github.com/kubernetes/kubernetes/tree/v1.23.0/cluster/addons/fluentd-elasticsearch1.创建目录并下载所需文件cd/root/k8s/yaml/efk[root@worker1efk]#lltotal44-rw-r--r--1r
准备环境准备两台服务器节点，如果需要安装虚拟机，可以参考《wmware和centos安装过程》机器名IP角色CPU内存centos01192.168.109.130master4核2Gcentos02192.168.109.131node4核2G设置主机名，所有节点都执行vim/etc/hosts#增加192.168.109.130centos01192.168.109.131centos02关闭防火墙，所有节点都执行systemctlstopfirewalldsystemctldisablefirewalldsetenforce0vim/etc/selinux/config#修改SELINU
Configmap概述什么是Configmap？Configmap是k8s中的资源对象，用于保存非机密性的配置的，数据可以用key/value键值对的形式保存，也可通过文件的形式保存。Configmap能解决哪些问题？我们在部署服务的时候，每个服务都有自己的配置文件，如果一台服务器上部署多个服务：nginx、tomcat、apache等，那么这些配置都存在这个节点上，假如一台服务器不能满足线上高并发的要求，需要对服务器扩容，扩容之后的服务器还是需要部署多个服务：nginx、tomcat、apache，新增加的服务器上还是要管理这些服务的配置，如果有一个服务出现问题，需要修改配置文件，每台物理节
作者：半身风雪上一节：K8S进阶容器和Pod分配内存资源内容简介：上一节主要学习ConfigMap环境变量的配置及使用、ConfigMapvolume中的数据处理，那么本节内容主要容器和Pod分配内存资源。WindowsHostProcess运行容器化负载简介一、创建WindowsHostProcess1.1、HostProcess的使用限制1.2、HostProcessPod配置1.3、配置清单1.4、内存资源二、配置GMSA2.1、创建GMSA管理资源2.2、配置集群启用GMSA管理的RBAC2.3、分配GMSA管理服务账号2.4、配置GMSA管理引用2.5、使用主机名或FQDN对网络共享
作者：半身风雪上一节：K8S进阶容器和Pod分配内存资源内容简介：上一节主要学习ConfigMap环境变量的配置及使用、ConfigMapvolume中的数据处理，那么本节内容主要容器和Pod分配内存资源。WindowsHostProcess运行容器化负载简介一、创建WindowsHostProcess1.1、HostProcess的使用限制1.2、HostProcessPod配置1.3、配置清单1.4、内存资源二、配置GMSA2.1、创建GMSA管理资源2.2、配置集群启用GMSA管理的RBAC2.3、分配GMSA管理服务账号2.4、配置GMSA管理引用2.5、使用主机名或FQDN对网络共享
文章目录一、概念1.1知识图谱1.2Kubernetes解决的核心问题二、K8S组件2.1控制平面组件2.2pod2.3service2.4volume2.5deployment2.6namespace（命名空间）2.7Job（一次性任务）2.8endpoint2.9object（对象）2.10ObjectName和UID（对象名和UID）2.11label（标签）2.12labelselector（标签选择器）2.13ReplicaSet（确保预期的Pod副本数量）2.14ReplicationController（RC）2.15StatefulSets（有状态应用部署）2.16Daemon
总览Ephemeral容器init容器标准容器和Sidecar容器总结截止到目前，k8s已经支持标准容器，sidecar容器，init容器，Ephemeral容器Ephemeral容器临时容器与其他容器的不同之处在于，它们缺少对资源或执行的保证，并且永远不会自动重启，因此不适用于构建应用程序。临时容器使用与常规容器相同的ContainerSpec段进行描述，但许多字段是不相容且不允许的。临时容器没有端口配置，因此像ports，livenessProbe，readinessProbe这样的字段是不允许的。Pod资源分配是不可变的，因此resources配置是不允许的。有关允许字段的完整列表，请参
一。基础kuberbete就是管理这些应用程序所在的小运行环境（container）而生，集群调度的最小单元就是一个pod，一个pod可以是一个容器，也可以是多个容器。k8s不是直接管理容器，而是管理pod。1一个K8S系统，通常称为一个K8S集群（Cluster）。kubectl是k8s的客户端程序，也是k8s的命令行工具，提供的大量的子命令可以让用户可以和集群进行交互。这个集群主要包括两个部分：一个Master节点（主节点）一群Node节点（计算节点）2Master节点包括APIServer、Scheduler、Controllermanager、etcd。APIServer是整个系统的对
