python - 分布式 tensorflow : ps/workers hosts on aws ?-6ren

python - 分布式 tensorflow : ps/workers hosts on aws ?

转载作者：行者123 更新时间：2023-11-28 17:10:36

26

4

我在使用 gpus 的 aws 上使用分布式 Tensorflow。当我在本地机器上训练模型时，我将 ps_host/workers_host 指示为类似于“localhost:2225”的内容。在 aws 的情况下我需要使用什么 ps/workers 主机？

最佳答案

这是一个很好的 github 项目，展示了如何在 AWS 上将分布式 TensorFlow 与 Kubernetes 或新的 AWS SageMaker 结合使用:https://github.com/pipelineai/pipeline

至少，您应该使用 TensorFlow Estimator API。分布式 TensorFlow 有很多隐藏的、没有很好记录的技巧。

一些更好的例子在这里:https://github.com/GoogleCloudPlatform/cloudml-samples/tree/master/census

关于python - 分布式 tensorflow : ps/workers hosts on aws ?，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/47804792/

26

4

0

文章推荐： css - 导入样式文件没有作用域？

文章推荐： javascript - 如何使用js将新标签添加到jquery对话框中？

文章推荐： javascript - 将复选框并排放置

文章推荐： javascript - 用随机数填充 Javascript 中的二维数组

Java - PS Old Gen 全，PS Survivor Space 空，PS Eden Space 填充和 CC'ing
我在 tomcat 8.0.24 上运行 Atlassian Bitbucket，在 Ubuntu 14.04.5 LTS 上运行 Java 1.8.0 31-b13(64 位)，内核 3.13.0-
docker - docker ps -all和docker ps --all有什么区别
docker命令reference for ps提到 docker ps -a docker ps --all 命令显示所有容器的列表。在docker上工作时，我错误地使用了以下命令 docker
linux - ps -e 和 ps -A 之间的区别
关闭。这个问题是off-topic .它目前不接受答案。想改进这个问题吗？ Update the question所以它是on-topic用于堆栈溢出。关闭 10 年前。 Improve thi
linux - 将 `docker ps` 与主机的 `ps` 相关联
docker ps 不让我知道容器本身的 pid。在主机上运行的 docker ps 和 ps 的输出之间进行命令字符串匹配并不是万无一失的，因为我可以在主机上运行相同的命令。有没有人有确定的方法将
linux - 我如何知道命令 "ps"或 "ps -ef"中的进程是在后台运行还是在前台运行？
如何通过命令“ps”或“ps -ef”知道进程是在后台运行还是在前台运行？我首先想到的是，当我输入 ps -ef 时，有一个名为 TTY 的部分。当我查看 TTY 列表时，大多数都是“？” (问号
linux - "ps -o"和 "ps o"之间的区别
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。这个问题似乎不是关于 a specific programming problem, a softwar
winforms - 如何通过 VBS 将变量从一个 PS 脚本传递到另一个 PS 脚本？
我正在使用带有 3 个文件的 GUI 编写 PowerShell 脚本: window1.ps1 - 输入变量并启动start.vbs start.vbs - 启动window2.ps1 window
macos - "ps aux"有效，但 "ps -aux"无效
这似乎是一个愚蠢的问题，但我一直无法找到明确的答案。 This website指出破折号是可选的 ps aux 然而，ps aux有效但 ps -aux出现错误 no user named 'x' .
linux - 脚本中 ps aux 和 `ps aux` 之间的不同结果
我有一个 bash 脚本 (ScreamDaemon.sh)，在其中添加了检查它的示例是否已经运行的检查。 numscr=`ps aux | grep ScreamDaemon.sh | wc -l`
linux - ps -ef + fourfield 来自 ps -ef 输出
我需要解释一下 ps -ef 命令的四个字段(4 或 0)，这个数字的含义谢谢你 root 27116 27112 4 15:25 pts/0 00:00:00 grep -qsRw -m1 moni
linux - linux中 "ps -ef "和 "ps -ef | more"命令有什么区别
我刚开始学习 linux 命令，请帮助我找出 ps -ef 和 ps -ef | 之间的区别 | linux 中的 more 命令最佳答案与 ps -ef | more你管| ps 的输出至 mo
linux - ps | 之间的区别grep safe 和 ps | grep 安全\$
# ps | grep safe 14592 root 136m S /tmp/data/safe/safe 16210 root 1664 S grep safe
linux - 脚本中 ps aux 和 `ps aux` 之间的不同结果
我有一个 bash 脚本 (ScreamDaemon.sh)，在其中添加了检查它的示例是否已经运行的检查。 numscr=`ps aux | grep ScreamDaemon.sh | wc -l`
docker - 为什么 docker-compose ps 与 docker ps 不同？
为什么 docker compose 创建的容器只能从 docker-compose ps 访问并且在杀死正在运行的容器后仍然存在？最佳答案不是。 docker ps只显示正在运行的容器，dock
unix - ps –ef|grep java 和 ps –ef|grep *.java 的区别
我试图在 unix 框中找到所有正在运行的 java 进程。我很困惑 ps –ef|grep java 和 ps –ef|grep *.java 哪一个是正确的，确切的区别是什么？ PS:两者都返回不
linux - 无论 PID 结果如何，当从 ps 管道传输到 grep 时，Bash 脚本输出始终为 'ps'
给定一个 pid 数组和代码: for i in ${listedPids[@]} do runningCheck="ps -u $USER | grep $i"
powershell - PS 控制台运行 $profile 脚本，但 PS ISE 和 ConEmu 在同一台机器上因 Invoke-RestMethod 错误而失败
我的 PowerShell 配置文件 (CurrentUser.AllHosts) 中有两个脚本让我抓狂，因为它们在看似相同的控制台上给出了不同的结果。在 Powershell(提升版)上，脚本没有任
python - Linux/Bash 使用 PS -f 获取特定 PID 的返回格式与 PS -f 不同，也有关于使用 Grep 解析此问题的问题
对于我正在创建的 python 脚本，我需要先获取进程的 PID(基于其名称)，然后使用其 PID、持续时间从该进程获取，从下面的打印输出中，将是“00:00:00” root 5686
一分钟学一个Linux命令-ps
前言大家好，我是 god23bin。欢迎来到《一分钟学一个 Linux 命令》系列，每天只需一分钟，记住一个 Linux 命令不成问题。今天要说的是 ps 命令。
process - ps auxwww中的www是什么意思？
我发现 ps aux 列出了当前正在运行的进程，我发现其他人提到了 ps auxwww .我想知道这是什么意思？或者它有什么作用？ ps aux有什么区别和 ps auxwww ? 最佳答案引用 m

首页

博学

6Ren·AI

商城

python - 分布式 tensorflow : ps/workers hosts on aws ?