python - AWS Sagemaker 推理端点未利用所有 vCPU

Question

我在 sagemaker 推理端点(单实例)上部署了自定义模型，在进行负载测试时，我观察到 CPU 利用率指标达到 100% 的最大值，但根据 this post它应该达到 #vCPU*100 % 的最大值。我已确认推理端点未使用 clowdwatch 日志中的所有内核。

因此，如果一个预测调用需要一秒钟的时间来处理以提供响应，则部署的模型每秒只能处理一个 API 调用，如果所有 vCPU 都已被使用，这可能会增加到每秒 8 个调用。

AWS Sagemaker 部署中是否有设置使用所有 vCPU 来提高并发性？

或者我们可以在部署时在 inference.py 文件中使用 multiprocessing python 包，以便每次调用都进入默认核心，然后所有计算/预测都在任何其他核心中完成，以空的为准那个实例？

Answer 1

更新

• 设置三个环境变量

  1. ENABLE_MULTI_MODEL 为“true”(确保它是字符串而不是 bool 值)并设置 SAGEMAKER_HANDLER作为自定义模型处理程序 python 模块路径，如果自定义服务不定义它。还要确保型号名称 model.mar , 在将其压缩为 tar 球并存储在 s3 之前
  2. TS_DEFAULT_WORKERS_PER_MODEL 作为 vcpus 的数量
  3. 第一个环境变量确保 torch serve env_vars 已启用，第二个环境变量使用第一个设置并加载请求数量的 worker
  4. 可以通过将 env 字典参数传递给 PyTorch function 来完成设置.以下是其工作原理的解释

• 从外观上看，pytorch 模型的 sagemaker 部署在 Sagemaker SDK guide 中给出。 , 使用 this dockerfile .在这个 docker 中，入口点是 torchserve-entrypoint.py如 Dockerfile line#124 .

• 这torchserve-entrypoint.py电话 serving.main()来自 serving.py .最终调用 torchserve.start_torchserve(handler_service=HANDLER_SERVICE)来自 torchserve.py .

• At line 34 in torchserve.py它将“/etc/default-ts.properties”定义为 DEFAULT_TS_CONFIG_FILE。此文件位于 here .在这个文件中 enable_envvars_config=true已设置。它将使用此文件设置 IFF 环境变量“ENABLE_MULTI_MODEL”设置为“false”，引用 here .如果它设置为“true”，那么它将使用/etc/mme-ts.properties

---

关于AWS Sagemaker部署中是否有任何设置使用所有vCPU来提高并发性？您可以使用各种设置对于模型，您可以在 config.properties TS_DEFAULT_WORKERS_PER_MODEL=$(nproc --all) 环境变量中设置 default_workers_per_model。环境变量具有最高优先级。

除此之外，您还可以使用管理 API 设置工作人员数量，但遗憾的是无法在 sagemaker 中 curl 到管理 API。所以 TS_DEFAULT_WORKERS_PER_MODEL 是最好的选择。设置此项应确保使用所有内核。

但是如果您使用的是 docker 文件，那么在入口点您可以设置等待模型加载的脚本并 curl 到它以设置工作人员数量

# load the model
curl -X POST localhost:8081/models?url=model_1.mar&batch_size=8&max_batch_delay=50
# after loading the model it is possible to set min_worker, etc
curl -v -X PUT http://localhost:8081/models/model_1?min_worker=1

关于日志确认并非所有内核都被使用的另一个问题，我面临同样的问题，并且认为这是日志系统中的问题。请看本期https://github.com/pytorch/serve/issues/782 .社区本身同意，如果未设置线程，那么默认情况下它会打印 0，即使默认情况下它使用 2*num_cores。

对于所有可能的配置的详尽集

# Reference: https://github.com/pytorch/serve/blob/master/docs/configuration.md
# Variables that can be configured through config.properties and Environment Variables
# NOTE: Variables which can be configured through environment variables **SHOULD** have a
# "TS_" prefix
# debug
inference_address=http://0.0.0.0:8080
management_address=http://0.0.0.0:8081
metrics_address=http://0.0.0.0:8082
model_store=/opt/ml/model
load_models=model_1.mar
# blacklist_env_vars
# default_workers_per_model
# default_response_timeout
# unregister_model_timeout
# number_of_netty_threads
# netty_client_threads
# job_queue_size
# number_of_gpu
# async_logging
# cors_allowed_origin
# cors_allowed_methods
# cors_allowed_headers
# decode_input_request
# keystore
# keystore_pass
# keystore_type
# certificate_file
# private_key_file
# max_request_size
# max_response_size
# default_service_handler
# service_envelope
# model_server_home
# snapshot_store
# prefer_direct_buffer
# allowed_urls
# install_py_dep_per_model
# metrics_format
# enable_metrics_api
# initial_worker_port

# Configuration which are not documented or enabled through environment variables

# When below variable is set true, then the variables set in environment have higher precedence.
# For example, the value of an environment variable overrides both command line arguments and a property in the configuration file. The value of a command line argument overrides a value in the configuration file.
# When set to false, environment variables are not used at all
# use_native_io=
# io_ratio=
# metric_time_interval=
enable_envvars_config=true
# model_snapshot=
# version=