gpt4 book ai didi

pytorch - 如何禁用 TOKENIZERS_PARALLELISM=(true | false) 警告?

转载 作者:行者123 更新时间:2023-12-03 16:43:49 29 4
gpt4 key购买 nike

我使用pytorch来训练huggingface-transformers模型,但是每个epoch,总是输出警告:

The current process just got forked. Disabling parallelism to avoid deadlocks... To disable this warning, please explicitly set TOKENIZERS_PARALLELISM=(true | false)
如何禁用此警告?

最佳答案

将环境变量设置为字符串 "false"或者通过

TOKENIZERS_PARALLELISM=false
在你的 shell 里
或通过:
import os
os.environ["TOKENIZERS_PARALLELISM"] = "false"
在 Python 脚本中

关于pytorch - 如何禁用 TOKENIZERS_PARALLELISM=(true | false) 警告?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62691279/

29 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com