个人中心
文章发布
退出
作者热门文章
- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库？
- java - OnItemClickListener 不起作用，但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
26
4
嗯，我的公司正在考虑从 Hadoop 迁移到 Kubernetes。我们可以在Kubernetes中找到解决方案，例如cassandra，sparks等工具。所以最后一个问题是如何在Kubernetes中存储海量文件，比如说1PB。仅供引用，我们不想使用 S3 等在线存储服务。
据我所知，HDFS只是在Kubernetes中使用，还有Torus、Quobyte等少数替代产品。所以我的问题是，对 Kubernetes 上的文件系统有什么建议吗？或者有什么更好的解决方案？
非常感谢。
最佳答案
您可以使用 Hadoop 兼容 文件系统，例如 Ceph 或 Minio。两者都提供与 S3 兼容的 REST API，用于读写。在 Kubernetes 中，可以使用 Rook 部署 Ceph项目。
但总的来说，在 Kubernetes 中运行 HDFS 需要有状态的服务，例如 NameNode 和具有适当亲和性和网络规则的 DataNode。 Hadoop Ozone该项目实现了对象存储对于微服务工作负载比 HDFS block 存储更常见，因为合理地尝试使用分布式微服务分析 PB 数据是不可行的。 (我只是猜测)
关于hadoop - Kubernetes 分布式文件系统，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/54178155/
26
4
0
core@core-1-94 ~ $ kubectl exec -it busybox -- nslookup kubernetesServer: 10.100.0.10Address 1: 1
我有一个节点错误地注册在集群 B 上，而它实际上为集群 A 服务。 这里“在集群 B 上注册”意味着我可以从 kubectl get node 看到节点来自集群 B。 我想从集群 B 中取消注册这个节
据我所知，Kubernetes 是一个用于部署和管理容器的编排框架。另一方面，Kubernetes Engine 负责集群的伸缩，以及管理容器镜像。 从上面看，它们似乎是同一件事或非常相似。从上面的定
我正在学习 Kubernetes 和 Docker，以启动一个简单的 Python 网络应用程序。我对上述所有技术都不熟悉。 下面是我计划的方法: 安装 Kubernetes。 在本地启动并运行集群。
我了解如何在 kubernetes 中设置就绪探测器，但是是否有任何关于在调用就绪探测器时微服务应实际检查哪些内容的最佳实践？两个具体例子: 一个面向数据库的微服务，如果没有有效的数据库连接，几乎所有
Kubernetes 调度程序是仅根据请求的资源和节点在服务器当前快照中的可用资源将 Pod 放置在节点上，还是同时考虑节点的历史资源利用率？ 最佳答案 在官方Kubernetes documenta
我们有多个环境，如 dev、qa、prepod 等。我们有基于环境的命名空间。现在我们将服务命名为 environment 作为后缀。例如。， apiVersion: apps/v1
我有一个关于命名空间的问题，并寻求您的专业知识来消除我的疑虑。 我对命名空间的理解是，它们用于在团队和项目之间引入逻辑边界。 当然，我在某处读到命名空间可用于在同一集群中引入/定义不同的环境。 例如测
我知道角色用于授予用户或服务帐户在特定命名空间中执行操作的权限。 一个典型的角色定义可能是这样的 kind: Role apiVersion: rbac.authorization.k8s.io/v1
我正在学习 Kubernetes，目前正在深入研究高可用性，虽然我知道我可以使用本地(或远程)etcd 以及一组高可用性的控制平面(API 服务器、 Controller 、调度程序)来设置minio
两者之间有什么实际区别？我什么时候应该选择一个？ 例如，如果我想让我的项目中的开发人员仅查看 pod 的日志。似乎可以通过 RoleBinding 为服务帐户或上下文分配这些权限。 最佳答案 什么是服
根据基于时间的计划执行容器或 Pod 的推荐方法是什么？例如，每天凌晨 2 点运行 10 分钟的任务。 在传统的 linux 服务器上，crontab 很容易工作，而且显然在容器内部仍然是可能的。然而
有人可以帮助我了解服务网格本身是否是一种入口，或者服务网格和入口之间是否有任何区别？ 最佳答案 “入口”负责将流量路由到集群中(来自 Docs:管理对集群中服务的外部访问的 API 对象，通常是 HT
我是 kubernetes 集群的新手。我有一个简单的问题。 我在多个 kubernetes 集群中。 kubernetes 中似乎有多个集群可用。所以 kubernetes 中的“多集群”意味着:
我目前正在使用Deployments管理我的K8S集群中的Pod。 我的某些部署需要2个Pod /副本，一些部署需要3个Pod /副本，而有些部署只需要1个Pod /副本。我遇到的问题是只有一个 po
我看过官方文档:https://kubernetes.io/docs/tasks/setup-konnectivity/setup-konnectivity/但我还是没明白它的意思。 我有几个问题:
这里的任何人都有在 kubernetes 上进行批处理(例如 spring 批处理)的经验？这是个好主意吗？如果我们使用 kubernetes 自动缩放功能，如何防止批处理处理相同的数据？谢谢你。 最
我有一个具有 4 个节点和一个主节点的 Kubernetes 集群。我正在尝试在所有节点中运行 5 个 nginx pod。目前，调度程序有时在一台机器上运行所有 pod，有时在不同的机器上运行。 如
我在运行 Raspbian Stretch 的 Raspberry PI 3 上使用以下命令安装最新版本的 Kubernetes。 $ curl -s https://packages.cloud.g
container port 与 Kubernetes 容器中的 targetports 有何不同？ 它们是否可以互换使用，如果可以，为什么？ 我遇到了下面的代码片段，其中 containerPort
我是一名优秀的程序员,十分优秀！