26
4
I am getting the below error when loading an pickled functiond
我在加载腌制函数时收到以下错误
个人中心
文章发布
退出{
"errorMessage": "Can't get attribute 'customer_transform' on <module '__main__' from '/var/runtime/bootstrap.py'>",
"errorType": "AttributeError",
"stackTrace": [
" File \"/var/task/on_demand_dataset_load_and_transform/handler.py\", line 14, in lambda_handler\n return transform_data(load_response, udf_s3_key)\n",
" File \"/var/task/on_demand_dataset_load_and_transform/transform_data.py\", line 26, in transform_data\n udf = pickle.loads(udf_bytes)\n"
]
}
I am using jupyter notebook to write a function, pickle it and store it in S3.
我正在使用jupyter笔记本编写一个函数，将其pickle并存储在S3中。
def customer_transform(input):
# implementation
import pickle
def serialize_func(func):
return pickle.dumps(func)
serialized_transform = serialize_func(customer_transform)
s3_client.put_object(Body=serialized_transform, Bucket="Bucket_name", Key="key")
When I try to read data from S3 and unpickle it, I am getting the above error. Below is the code
当我试图从S3中读取数据并将其取消拾取时，我会收到上面的错误。下面是代码
udf_bytes = s3_client.get_object(Bucket="Bucket_name", Key="key")["Body"].read()
downloaded_func = pickle.loads(udf_bytes)
I resolved this importing dill
我解决了这个进口难题
import dill as pickle
Here is the documentation for dill
这是dill的文档
Probably worth sharing what dill is: pypi.org/project/dill
也许值得分享dill是什么：pypi.org/project/dill
Your answer could be improved with additional supporting information. Please edit to add further details, such as citations or documentation, so that others can confirm that your answer is correct. You can find more information on how to write good answers in the help center.
您的回答可以通过其他支持信息得到改进。请编辑以添加更多详细信息，如引文或文档，以便其他人可以确认您的答案是正确的。你可以在帮助中心找到更多关于如何写出好答案的信息。
26
4
0
假设我有一个 A 类和一个派生自 A 的 B 类。我想 pickle/unpickle B 类的一个实例。A 和 B 都定义了 __getstate__/__setstate__ 方法(假设 A
似乎有两种方法可以将指标推向 Graphite /碳， 线路接收器 pickle 接收器 根据文档 http://graphite.readthedocs.org/en/1.0/feeding-car
Perforce命令行有一个特殊的开关-G，它使用python的“pickle”序列化格式可以使输出成为机器可读的。一般来说，实际上是这样吗？ 例如，考虑p4 -G diff -duw3 的输出。
如何从 BytesIO 对象写入和读回 pickled 数据？ 我尝试过: import io import cPickle as pickle s1 = "foo" bytes_io = io.By
我有两个文件: x.py class BF(object) def __init__(): . . def add(self,z): . . y.py from y
在 post昨天发帖，无意中发现改了__qualname__函数对 pickle 有意想不到的影响.通过运行更多测试，我发现在对函数进行 pickle 时，pickle不像我想的那样工作，改变 __q
为什么 pickle 重用现有的 Python 类“C”而不是从 pickle 字节重建类？有没有一种方法可以在没有副作用的情况下 pickle 和解 pickle ？ 这是我的回复 session
我使用 mpi4py 将一些计算拆分到多个过程中。基本上我只是计算一些凸包的体积，这是我使用 tvtk 和 mayavi 创建的。 只有第一个过程导入这些库: ... if rank==0: f
我正在用 pygame 制作一个绘图程序，我想在其中为用户提供一个选项来保存程序的确切状态，然后在稍后重新加载它。在这一点上，我保存了我的全局字典的副本，然后遍历， pickle 每个对象。 pyga
所以，我有一个对象，里面有很多不可 pickle 的东西(pygame 事件、orderedDicts、时钟等)，我需要将它保存到磁盘。 事情是，如果我可以让这个东西存储一个有进度的字符串(我只需要一
import pickle variety = ["sweet", "box", "cat"] shape = ["back","spear", "log"] pickleFile = open("
我有一个关于 gensim 的问题。我想知道在保存或加载模型(或多个模型)时是否建议或需要使用 pickle，因为我在 GitHub 上找到了可以使用的脚本。 mymodel = Doc2Vec(do
我正在使用 python3.6/。我使用 protocol=pickle.HIGHEST_PROTOCOL pickle 了我的文件 当我按如下方式加载时: with open('data.sav',
给定一个像这样的任意Pythonic对象: class ExampleObj(object): def __init__(self): self.a = 'a'
简介 我有一本具有以下格式的字典: dict_list = {'S0':[[list of int],[list of int]], 'S1':[[list of int],[list of int]
我想知道这个错误可能意味着什么: PicklingError: Can't pickle : attribute lookup __builtin__.function failed 我理解这与使用多
我对 python 变量持久性有点困惑，在我的代码中，我使用以下代码使模型参数在某些迭代期间持久化 with open('W_Hs_Hu_iter'+str(inx)+'.pickle', 'wb'
当对象通过其属性之一引用自身时，从带有插槽的类中挑选对象的正确方法是什么？这是一个简单的示例，使用我当前的实现，我不确定它是否 100% 正确: import weakref import pickl
我有数千个长 (8640) 整数列表元组。例如: type(l1) tuple len(l1) 2 l1[0][:10] [0, 31, 23, 0, 0, 0, 0, 0, 0, 0] l1[1][
我有一个对象 gui_project，它有一个属性 .namespace，这是一个命名空间字典。 (即从字符串到对象的字典。) (这在类似 IDE 的程序中使用，让用户在 Python shell 中
我是一名优秀的程序员,十分优秀！