python - Spark 属性错误 : Can't get attribute 'new_block' on

转载 作者：行者123 更新时间：2023-12-04 11:31:32 25 4

我在 AWS EMR 上使用 pyspark(4 r5.xlarge 作为 4 个 worker ，每个有一个执行程序和 4 个内核)，我得到了 AttributeError: Can't get attribute 'new_block' on <module 'pandas.core.internals.blocks' .以下是引发此错误的代码片段:

search =  SearchEngine(db_file_dir = "/tmp/db")
conn = sqlite3.connect("/tmp/db/simple_db.sqlite")
pdf_ = pd.read_sql_query('''select  zipcode, lat, lng, 
                        bounds_west, bounds_east, bounds_north, bounds_south from 
                        simple_zipcode''',conn)
brd_pdf = spark.sparkContext.broadcast(pdf_) 
conn.close()


@udf('string')
def get_zip_b(lat, lng):
    pdf = brd_pdf.value 
    out = pdf[(np.array(pdf["bounds_north"]) >= lat) & 
              (np.array(pdf["bounds_south"]) <= lat) & 
              (np.array(pdf['bounds_west']) <= lng) & 
              (np.array(pdf['bounds_east']) >= lng) ]
    if len(out):
        min_index = np.argmin( (np.array(out["lat"]) - lat)**2 + (np.array(out["lng"]) - lng)**2)
        zip_ = str(out["zipcode"].iloc[min_index])
    else:
        zip_ = 'bad'
    return zip_

df = df.withColumn('zipcode', get_zip_b(col("latitude"),col("longitude")))

下面是回溯，get_zip_b 中的第 102 行指的是 pdf = brd_pdf.value :

21/08/02 06:18:19 WARN TaskSetManager: Lost task 12.0 in stage 7.0 (TID 1814, ip-10-22-17-94.pclc0.merkle.local, executor 6): org.apache.spark.api.python.PythonException: Traceback (most recent call last):
  File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/worker.py", line 605, in main
    process()
  File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/worker.py", line 597, in process
    serializer.dump_stream(out_iter, outfile)
  File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/serializers.py", line 223, in dump_stream
    self.serializer.dump_stream(self._batched(iterator), stream)
  File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/serializers.py", line 141, in dump_stream
    for obj in iterator:
  File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/serializers.py", line 212, in _batched
    for item in iterator:
  File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/worker.py", line 450, in mapper
    result = tuple(f(*[a[o] for o in arg_offsets]) for (arg_offsets, f) in udfs)
  File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/worker.py", line 450, in <genexpr>
    result = tuple(f(*[a[o] for o in arg_offsets]) for (arg_offsets, f) in udfs)
  File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/worker.py", line 90, in <lambda>
    return lambda *a: f(*a)
  File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/util.py", line 121, in wrapper
    return f(*args, **kwargs)
  File "/mnt/var/lib/hadoop/steps/s-1IBFS0SYWA19Z/Mobile_ID_process_center.py", line 102, in get_zip_b
  File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/broadcast.py", line 146, in value
    self._value = self.load_from_path(self._path)
  File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/broadcast.py", line 123, in load_from_path
    return self.load(f)
  File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/broadcast.py", line 129, in load
    return pickle.load(file)
AttributeError: Can't get attribute 'new_block' on <module 'pandas.core.internals.blocks' from '/mnt/miniconda/lib/python3.9/site-packages/pandas/core/internals/blocks.py'>

一些观察和思考过程:
1、在网上查了一下，pyspark中的AttributeError好像是driver和worker的pandas版本不匹配导致的？
2，但是我在两个不同的数据集上运行了相同的代码，一个没有任何错误，而另一个没有，这看起来很奇怪和不确定，而且错误似乎不是由不匹配的 Pandas 版本引起的。否则，两个数据集都不会成功。
3，然后我再次在成功的数据集上运行相同的代码，但这次使用不同的 Spark 配置:将 spark.driver.memory 从 2048M 设置为 4192m，它抛出了 AttributeError。
4、总之，我认为AttributeError与驱动程序有关。但我无法从错误消息中判断它们之间的关系，以及如何修复它:AttributeError: Can't get attribute 'new_block' on

最佳答案

我在服务器中使用 pandas 1.3.2 而在我的客户端中使用 1.2 时遇到了同样的错误。
将 Pandas 降级到 1.2 解决了这个问题。

关于python - Spark 属性错误 : Can't get attribute 'new_block' on <module 'pandas.core.internals.blocks' ，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/68625748/

25 4 0

• javascript 属性 .net 属性

  你能比较一下属性吗 我想禁用文本框“txtName”。有两种方式 使用javascript，txtName.disabled = true 使用 ASP.NET， 哪种方法更好，为什么？ 最佳答案 我

• VBS教程：属性-Count 属性

  Count 属性 返回一个集合或 Dictionary 对象包含的项目数。只读。 object.Count object 可以是“应用于”列表中列出的任何集合或对

• VBS教程：属性-CompareMode 属性

  CompareMode 属性 设置并返回在 Dictionary 对象中比较字符串关键字的比较模式。 object.CompareMode[ = compare] 参数

• VBS教程：属性-Column 属性

  Column 属性 只读属性，返回 TextStream 文件中当前字符位置的列号。 object.Column object 通常是 TextStream 对象的名称。

• VBS教程：属性-AvailableSpace 属性

  AvailableSpace 属性 返回指定的驱动器或网络共享对于用户的可用空间大小。 object.AvailableSpace object 应为 Drive 

• VBS教程：属性-Attributes 属性

  Attributes 属性 设置或返回文件或文件夹的属性。可读写或只读（与属性有关）。 object.Attributes [= newattributes] 参数 object

• VBS教程：属性-AtEndOfStream 属性

  AtEndOfStream 属性 如果文件指针位于 TextStream 文件末，则返回 True；否则如果不为只读则返回 False。 object.A

• VBS教程：属性-AtEndOfLine 属性

  AtEndOfLine 属性 TextStream 文件中，如果文件指针指向行末标记，就返回 True；否则如果不是只读则返回 False。 object.AtEn

• VBS教程：属性-RootFolder 属性

  RootFolder 属性 返回一个 Folder 对象，表示指定驱动器的根文件夹。只读。 object.RootFolder object 应为 Dr

• VBS教程：属性-Path 属性

  Path 属性 返回指定文件、文件夹或驱动器的路径。 object.Path object 应为 File、Folder 或 Drive 对象的名称。 说明 对于驱动器，路径不包含根目录。

• VBS教程：属性-ParentFolder 属性

  ParentFolder 属性 返回指定文件或文件夹的父文件夹。只读。 object.ParentFolder object 应为 File 或 Folder 对象的名称。 说明 以下代码

• VBS教程：属性-Name 属性

  Name 属性 设置或返回指定的文件或文件夹的名称。可读写。 object.Name [= newname] 参数 object 必选项。应为 File 或&

• VBS教程：属性-Line 属性

  Line 属性 只读属性，返回 TextStream 文件中的当前行号。 object.Line object 通常是 TextStream 对象的名称。 说明 文件刚

• VBS教程：属性-Key 属性

  Key 属性 在 Dictionary 对象中设置 key。 object.Key(key) = newkey 参数 object 必选项。通常是 Dictionary 

• VBS教程：属性-Item 属性

  Item 属性 设置或返回 Dictionary 对象中指定的 key 对应的 item，或返回集合中基于指定的 key 的&

• VBS教程：属性-IsRootFolder 属性

  IsRootFolder 属性 如果指定的文件夹是根文件夹，返回 True；否则返回 False。 object.IsRootFolder object 应为&n

• VBS教程：属性-IsReady 属性

  IsReady 属性 如果指定的驱动器就绪，返回 True；否则返回 False。 object.IsReady object 应为 Drive&nbs

• VBS教程：属性-FreeSpace 属性

  FreeSpace 属性 返回指定的驱动器或网络共享对于用户的可用空间大小。只读。 object.FreeSpace object 应为 Drive 对象的名称。

• VBS教程：属性-FileSystem 属性

  FileSystem 属性 返回指定的驱动器使用的文件系统的类型。 object.FileSystem object 应为 Drive 对象的名称。 说明 可

• VBS教程：属性-Files 属性

  Files 属性 返回由指定文件夹中所有 File 对象（包括隐藏文件和系统文件）组成的 Files 集合。 object.Files object&n