gpt4 book ai didi

python - Python可以在并行线程中解码JSON吗?

转载 作者:行者123 更新时间:2023-12-03 13:02:02 25 4
gpt4 key购买 nike

在API的世界中,似乎许多Python应用程序花在解码JSON上的时间比其他任何东西都要多。
但是,似乎所有JSON解码器都在解码时锁定了GIL,这意味着不可能使用多线程或通常使用任何其他方式来加快JSON解码的速度。在不需要直接汇总解码后的json的某些用例中,多处理可能会起作用(例如,每个过程可能会解码并汇总或以其他方式进行处理,然后返回更小的结果)。
我想知道是否有任何技术原因无法编写线程安全的JSON解码器,该解码器要么在内部跨多个内核解码JSON,要么以某种方式释放允许进行多次调用的GIL。
如果解码器基本上只是在创建新的对象,而该对象不能被解码的对象树之外的任何对象引用(尚未),那么是否需要GIL?需要以需要GIL的方式访问解释器的其他哪些部分?是共享字符串池之类的东西吗?这些问题对于此特定用例是否都是无法克服的?

最佳答案

简而言之,这是不可能的,因为Python中的memory management本身不是线程安全的,并且分配,重新分配,释放内存以及其他require以获得GIL的操作。

关于python - Python可以在并行线程中解码JSON吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/65177942/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com