草庐IT

$kubernetes

全部标签

hadoop - Docker 容器独立运行但在 kubernetes 中失败

我有docker容器(Hadoop安装https://github.com/kiwenlau/hadoop-cluster-docker),我可以使用sudodockerrun-itd-p50070:50070-p8088:8088--namehadoop-masterkiwenlau/hadoop:1.0命令没有任何问题,但是当尝试将相同的图像部署到kubernetes时,pod无法启动。为了创建部署,我使用了kubectlrunhadoop-master--image=kiwenlau/hadoop:1.0--port=8088--port=50070命令这里是describepo

hadoop - 外部访问部署在 Kubernetes 中的 Hadoop HDFS

目前,我已经在Kubernetes中部署了一个Hadoop集群。HDFS有三个数据节点(statefulset)和一个名称节点。我想从外部访问HDFS中的数据。因此,我创建了一个nodePort类型的服务来导出名称节点。当我尝试在HDFS中下载文件时,名称节点将我重定向到数据节点。问题是,重定向url的域是Kubernetes中的域,例如hadoop-hdfs-dn-0.hadoop-hdfs-dn.hadoop.svc.cluster.local:50075,它无法可以从外部访问。我的第一个想法是客户端自己解析域。喜欢hadoop-hdfs-dn-0.hadoop-hdfs-dn.h

hadoop - Kubernetes 分布式文件系统

嗯,我的公司正在考虑从Hadoop迁移到Kubernetes。我们可以在Kubernetes中找到解决方案,例如cassandra,sparks等工具。所以最后一个问题是如何在Kubernetes中存储海量文件,比如说1PB。仅供引用,我们不想使用S3等在线存储服务。据我所知,HDFS只是在Kubernetes中使用,还有Torus、Quobyte等少数替代产品。所以我的问题是,对Kubernetes上的文件系统有什么建议吗?或者有什么更好的解决方案?非常感谢。 最佳答案 您可以使用Hadoop兼容文件系统,例如Ceph或Minio

apache - 使用 Kubernetes 或 Apache mesos

我们有一个产品,在一些docker文件中有描述,它可以创建必要的docker容器。一些docker容器将只运行一些基本应用程序,而其他容器将运行集群(hadoop)。现在是我需要使用哪个集群管理器的问题。Kubernetes或Apachemesos或两者兼而有之?我读到Kubernetes适用于100%容器化环境,而ApacheMesos更适用于部分容器化和部分非容器化的环境。但是ApacheMesos更适合在docker中运行hadoop(?)。我们的环境仅由docker容器组成,但有些带有hadoop集群,有些带有一些应用程序。什么是最好的? 最佳答案

hadoop - 在 Kubernetes 上为 Apache Spark 部署 Elasticsearch

我想知道是否有人有使用ElasticsearchforHadooplibrary配置Kubernetes集群的经验.尝试从spark写入elasticsearch时,我遇到了节点发现超时的问题。感谢elasticsearch-cloud-kubernetes,我已经启动并运行了ElasticsearchES的插件,它处理发现,但我不确定如何最好地配置elasticsearch-hadoop以了解kubernetes集群中的节点(pods)。我已经尝试将spark.es.nodes设置为es-client服务,但这似乎不起作用。我也知道我可以启用es.nodes.wan.only,但如文

使用 Azure DevOps 的 Kubernetes 部署

Kubernetes是一个开源容器编排平台,用于管理和自动化容器化应用程序的部署、扩展和管理。AzureDevOps是一种基于云的DevOps服务,可为构建、测试和部署应用程序提供完整的CI/CD管道。在本文中,我将讨论如何使用AzureDevOps部署Kubernetes应用程序。先决条件Azure订阅一个AzureDevOps帐户一个Kubernetes集群一个Docker镜像第1步:创建Kubernetes部署文件在源代码存储库中创建Kubernetes部署文件(deployment.yaml)。此文件应包含Kubernetes部署的规范,包括容器映像、副本和端口。这是部署文件的示例:a

【云原生】Kubernetes编排工具精讲

文章目录一、Kubernetes编排工具1.1Kubernetes介绍1.2Kubernetes架构1.3Kubernetes安装一、Kubernetes编排工具1.1Kubernetes介绍Kubernetes是一个开源的,用于管理云平台中多个主机上的容器化的应用,Kubernetes的目标是让部署容器化的应用简单并且高效(powerful),Kubernetes提供了应用部署,规划,更新,维护的一种机制。Kubernetes一个核心的特点就是能够自主的管理容器来保证云平台中的容器按照用户的期望状态运行着,管理员可以加载一个微型服务,让规划器来找到合适的位置。同时,Kubernetes也系统

windows - 是否可以将 kubernetes 作为 docker 容器运行?

我是kubernetes的新手,正在尝试将其概念化并在本地进行设置,以便尝试在其上开发一些东西。虽然我在Windows机器上运行,但我感到很困惑。他们在github中的“入门”文档说你必须运行Linux才能使用kubernetes。由于docker在windows上运行,我想知道是否可以在windowsdocker中创建一个kubernetes实例作为容器,并使用它来管理同一windowsdocker实例中的集群的其余部分。从阅读设置说明来看,似乎docker、kubernetes和etcd都必须在单个主机操作系统上“并行”运行……但我的一部分认为这可能是可能的启动docker,启动“

Google Kubernetes Engine (GKE) 中的 Windows Server 容器

我想在GKE中运行Windows容器。是否可以在GoogleKubernetesEngine中使用WindowsServerContainersOS?我看到ComputeEngine中提供了WindowsServerContainersOS,似乎Kubernetes支持是available适用于Windows。 最佳答案 可以运行Windows容器,但只能作为ComputeEngine虚拟机实例中的容器。我会推荐你​​到thisarticle在GCP博客中。请注意有几个knownissues在WindowsVM实例中部署Window

go - 使用 kubernetes 从不同的服务连接到 Redis 服务

我在谷歌云平台上有一个Kubernetes集群,其中部署了一些服务。我在我的计算服务中导入了redis-go,并且可以在这里创建一个新的客户端来存储/检索数据到我的redis服务。我也希望能够从不同的服务访问这些存储的数据。我尝试使用redis-go并创建一个与我的redis服务集群具有相同地址的新客户端,但我无法检索任何数据。所以基本上我想知道如何从多个服务连接到单个redis服务实例。这是我用来调用我的redis服务和存储/检索值的代码示例。我可以从每个单独的服务中存储和检索,但是如果我从一个服务中存储并尝试从另一个服务中检索它不起作用。conn,_:=redis.Dial("tc