ray - 在前台的 docker 容器中运行 ray serve，而不是守护进程模式

Question

我正在运行 Ray Serve 来托管 ray 远程函数的 HTTP API。有没有比下面更好的方法在前台运行 Ray Serve(即非守护进程模式)。代码直接取自射线服务示例:

import os
import time

import ray.serve

ray.serve.init(blocking=True, http_host="0.0.0.0", ray_init_kwargs={
    'webui_host': '0.0.0.0',
    'redis_password': os.getenv('RAY_REDIS_PASSWORD'),
})

ray.serve.create_endpoint("my_endpoint", "/echo")


def echo_v1(flask_request, response="hello from python!"):
    return "1"


ray.serve.create_backend(echo_v1, "echo:v1")

ray.serve.link("my_endpoint", "echo:v1")

# Make sure the Docker container doesn't exit
while True:
    time.sleep(2)

没有最后一部分:

# Make sure the Docker container doesn't exit
while True:
    time.sleep(2)

Docker 容器将立即退出。

Answer 1

同样从 ray 文档 (https://docs.ray.io/en/latest/serve/deployment.html) 中，您可以预先使用 ray start --head 启动服务器并使用 ray.init(address="汽车”):

ray start --head

import ray
from ray import serve

# This will connect to the running Ray cluster.
ray.init(address="auto", namespace="serve")

@serve.deployment
def my_func(request):
  return "hello"

my_func.deploy()