个人中心
文章发布
退出
作者热门文章
- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库？
- java - OnItemClickListener 不起作用，但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
24
4
所有关于在 Amazon EC2 上部署 Spark 集群的文档都是与 Linux 环境相关的。但是，目前我的分布式项目依赖于一些 Windows 功能，我想开始使用 Windows 集群，同时进行必要的更改。 p>
我想知道是否有任何方法可以让我们以相对类似于 spark-ec2 脚本的方式在 EC2 上部署 Windows Spark 集群由 Spark 提供。
最佳答案
spark-ec2 目前仅支持使用 specific Linux AMIs 在 EC2 中启动集群，因此目前无法使用该工具部署 Windows Spark 集群。我怀疑 spark-ec2 是否会具备这种能力，因为它使用的所有设置脚本都假定为 Linux 主机。
也就是说，Databricks 最近宣布了一项 community-managed index of Spark packages ，人们一直在添加东西。比如已经有一个包让你launch Spark clusters on Google's Compute Engine .
虽然目前似乎没有适合您的东西，但我会密切关注该社区索引，寻找可以让您在 EC2 上启动 Windows Spark 集群的东西。
关于windows - Spark EC2 对 Windows 的支持，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/27859874/
24
4
0
尽管我的 EC2 实例(带有针对 ECS 优化的 AIM)正在运行 ecs 代理，但容器并未在我的 EC2 中启动。为了确认 ecs-agent 正在我的 EC2 实例上运行，我检查了: ecs 日志
我想在一个任务定义中使用客户端和服务器在 aws ecs 中运行套接字程序。当我使用 awsvpc 网络模式并每次连接到本地主机上的服务器时，我都可以运行它。这很好，所以我不需要知道服务器的 IP 地
我有一个在 AWS ECS 上运行的 Docker 容器。我不想要负载均衡器，因为容器是用来处理 websocket 连接的。 https://aws.amazon.com/getting-start
我想在我的 AWS ECS/Fargate 集群上的公共(public) Docker 镜像中启动交互式 shell，以便从集群内部运行网络/连接测试。 似乎官方的方法是使用 aws ecs run-
我在 ECS Fargate 上托管了一个 Shiny 的应用程序。它运行得相当好，但偶尔在使用该应用程序时它会崩溃。我在事件选项卡中将其追溯到以下内容: service YYYY has start
在 AWS ECS 中创建容量提供程序时。我们正在填充的值 Target capacity %，在超过这个值后我们的集群缩小，但我很好奇当前集群的这个值是如何计算的，如果我想检查当前的是什么集群的值(
在 AWS ECS 中创建容量提供程序时。我们正在填充的值 Target capacity %，在超过这个值后我们的集群缩小，但我很好奇当前集群的这个值是如何计算的，如果我想检查当前的是什么集群的值(
我在 AWS 上设置了具有多个目标组和应用程序负载均衡器的 Fargate ecs 服务。它按预期运行。 然后我尝试使用本教程设置管道 https://docs.aws.amazon.com/Amaz
我有一个运行任务的 ECS 集群服务，可以使用 AWS 控制台查看其 Cloudwatch 日志流。 如何为 awslogs-stream-prefix 设置日期，因为我想按日期识别日志流。 "c
我正在使用两个容器部署 ECS Fargate 任务:1 个反向代理 nginx 和 1 个 python 服务器。对于每个我有一个 ECR 存储库，我有一个 CI/CD CodePipeline 设
我在 AWS ECS 上部署了一个 CloudFormation 堆栈，比如 teststack , 通过命令 aws cloudformation deploy --template-file ./
我这里有一些具体的用例。我需要自动扩展在 ECS Fargate 上运行的分布式 Web 应用程序。问题是所有节点都需要在内存中保留相同的数据(因此增加节点数量无助于内存压力)。因此，只有在水平(添加
我正在寻找有关为 ECS 任务分配内存的指南。我正在为希望在服务器成本上尽可能便宜的客户运行 Rails 应用程序。我正在查看具有 2 个 CPU 和 4 GB 内存的中等服务器大小。 大多数情况下，
我是 ECS 新手，我正在尝试使用 Cloudformation 部署它。 我通过查看文档以及从博客和一些文章中找到的一些示例来制作以下 cloudformation 模板。 但是，由于某种原因，它在
也许这很愚蠢，但如果我创建一个 ECS 任务定义(例如参见 https://aws.amazon.com/blogs/compute/better-together-amazon-ecs-and-aw
ECS 的容器定义允许您指定 memoryReservation对于每个容器: The soft limit (in MiB) of memory to reserve for the contain
我在 ca-central 区域创建了一个 AWS ECS 实例。它与每次更新服务时都会更改的动态公共(public) ip 一起使用。到目前为止一切都很好。 由于需要一个公网静态IP，所以我在同一区
Invalid 'containerPort' setting for container 'prerenderContainer'.(Service: AmazonECS; Status Code:
如果我在 ECS 服务级别进行自动扩展，我看不到使用容量提供程序扩展 ECS 集群的意义: https://docs.aws.amazon.com/AmazonECS/latest/developer
关闭。这个问题不符合 Stack Overflow guidelines 。它目前不接受答案。 想改进这个问题？更新问题，使其成为 Stack Overflow 的 on-topic。 1年前关闭。
我是一名优秀的程序员,十分优秀！