How to write dataframe on s3 bucket by pyspark but without using Hadoop(如何在S3存储桶上不使用Hadoop的情况下使用PYSPARK写入数据帧)

转载 作者：bug小助手 更新时间：2023-10-24 19:43:29 28 4

from pyspark.sql import SparkSession

aws_access_key_id = 'ABC'
aws_secret_access_key = 'XYZ'
region_name = 'ap-south-1'
bucket_name = 'integration'
folder_name = 'NGETL-POC'

# Initialize Spark session
spark = SparkSession.builder.appName('temp1') \
    .config("spark.hadoop.fs.s3a.aws.credentials.provider", "org.apache.hadoop.fs.s3a.auth.IAMInstanceCredentialsProvider") \
    .config("spark.hadoop.fs.s3a.access.key", aws_access_key_id) \
    .config("spark.hadoop.fs.s3a.secret.key", aws_secret_access_key) \
    .config("spark.hadoop.fs.s3a.endpoint", f"s3-{region_name}.amazonaws.com") \
    .getOrCreate()

data1 = [(1, 'abc', 'A', 1), (2, 'pqr', 'B', 2), (3, 'efg', 'C', 4), (5, 'xyz', 'D', 6)]
fileHeadersColumns = ['student_id', 'st_name', 'st_class', 'st_roll_no']
df = spark.createDataFrame(data1, fileHeadersColumns)
df.show()

data2 = [(1, 'Maths', 50), (2, 'English', 60), (1, 'English', 70), (3, 'English', 80), (4, 'English', 40), (2, 'Maths', 60), (3, 'Maths', 70), (4, 'Maths', 80)]
redisColumns = ['student_id', 'subject', 'Marks']
df1 = spark.createDataFrame(data2, redisColumns)
df1.show()

joinedDf = df.join(df1, on="student_id", how="inner")
joinedDf.show()
print("file uploaded on S3")

# Write the DataFrame to S3 as a CSV
output_path = f"s3a://{bucket_name}/{folder_name}/data_1.csv"
joinedDf.write \
    .option("header", "true") \
    .option("delimiter", ",") \
    .option("quoteAll", "true") \
    .csv(output_path)
print("file uploaded on S3 post")

28 4 0

• dataframe - 将 DataFrame 的集合组合成一个大的 DataFrame

  假设我有 3 个 DataFrame。其中一个 DataFrame 的列名不在其他两个中。 using DataFrames df1 = DataFrame([['a', 'b', 'c'], [1,

• dataframe - 将 DataFrame 的集合组合成一个大的 DataFrame

  假设我有 3 个 DataFrame。其中一个 DataFrame 的列名不在其他两个中。 using DataFrames df1 = DataFrame([['a', 'b', 'c'], [1,

• dataframe - 根据指定拒绝列表条件的另一个 DataFrame 过滤 Spark DataFrame

  我有一个 largeDataFrame(多列和数十亿行)和一个 smallDataFrame(单列和 10,000 行)。 只要 largeDataFrame 中的 some_identifier 列

• dataframe - Julia:将 DataFrame 传递给函数会创建一个指向 DataFrame 的指针吗？

  我有一个函数，可以在其中规范化 DataFrame 的前 N ​​列。我想返回规范化的 DataFrame，但不要管原来的。然而，该函数似乎也会对传递的 DataFrame 进行变异! using D

• dataframe - 如何创建具有指定模式的空 DataFrame？

  我想在 Scala 中使用指定架构在 DataFrame 上创建。我尝试过使用 JSON 读取(我的意思是读取空文件)，但我认为这不是最佳实践。 最佳答案 假设您想要一个具有以下架构的数据框: roo

• dataframe - 如何改变 DataFrame？

  我正在尝试从数据框中删除一些列，并且不希望返回修改后的数据框并将其重新分配给旧数据框。相反，我希望该函数只修改数据框。这是我尝试过的，但它似乎并没有做我所除外的事情。我的印象是参数是作为引用传递的，而

• python - Pandas - 将一个大的 DataFrame 分成几个小的 DataFrame 并通过一个函数运行每个 DataFrame

  我有一个包含大约 60000 个数据的庞大数据集。我会首先使用一些标准对整个数据集进行分组，接下来我要做的是将整个数据集分成标准内的许多小数据集，并自动对每个小数据集运行一个函数以获取参数对于每个小数

• python - 将 DataFrame 拆分为两个 DataFrame 并过滤这两个 DataFrame 以获得相同的维度

  我遇到了以下问题，并有一个想法来解决它，但没有成功:我有一个月内每个交易日的 DAX 看涨期权和看跌期权数据。经过转换和一些计算后，我有以下 DataFrame: DaxOpt 。现在的目标是消除没有

• python - Pandas:将小 DataFrame 合并为大 DataFrame，用小 DataFrame 覆盖

  我正在尝试做一些我认为应该是单行的事情，但我正在努力把它做好。 我有一个大数据框，我们称之为lg，还有一个小数据框，我们称之为sm。每个数据帧都有一个 start 和一个 end 列，以及多个其他列所

• python - 我如何(或者应该)将 DataFrame 的 DataFrame 转换为多索引 DataFrame？

  我有一个像这样的系列数据帧的数据帧: state1 state2 state3 ... sym1 sym

• python - pandas dataframe 通过复制前一个 dataframe 的 n 次行并更改日期来创建一个新的 dataframe

  我有一个大约有 9k 行和 57 列的数据框，这是“df”。 我需要一个新的数据框:'df_final'- 对于“df”的每一行，我必须将每一行复制“x”次，并将每一行中的日期逐一增加，也就是“x”次

• python - 为什么使用 read_csv() 创建的 DataFrame 与使用相同数据的 DataFrame() 创建的另一个 DataFrame 不同？

  假设有一个 csv 文件如下: # data.csv 0,1,2,3,4 a,3.0,3.0,3.0,3.0,3.0 b,3.0,3.0,3.0,3.0,3.0 c,3.0,3.0,3.0,3.0,3

• python - Pandas 将 DataFrame 求和到一个更大的 DataFrame 中，该 DataFrame 已经包含具有相同列名的相同索引

  我只想知道是否有人对以下问题有更优雅的解决方案: 我有两个 Pandas DataFrame: import pandas as pd df1 = pd.DataFrame([[1, 2, 3], [

• python - 将 pyspark.sql.dataframe.DataFrame 类型 Dataframe 转换为 Dictionary

  我有一个 pyspark 数据框，我需要将其转换为 python 字典。 下面的代码是可重现的: from pyspark.sql import Row rdd = sc.parallelize([R

• dataframe - 在 DataFrame 链中分配中间结果

  我有一个 DataFrame，我想在 @chain 的帮助下对其进行处理。如何存储中间结果？ using DataFrames, Chain df = DataFrame(a = [1,1,2,2,2

• dataframe - Julia DataFrame 中的多个条件

  我有一个包含 3 列的 DataFrame，名为 :x :y 和 :z，它们是 Float64 类型。 :x 和 "y 在 (0,1) 上是 iid uniform 并且 z 是 x 和 y 的总和。

• dataframe - PySpark DataFrame 过滤器列包含多个值

  这个问题在这里已经有了答案: pyspark dataframe filter or include based on list (3 个答案) 关闭 2 年前。 只是想知道是否有任何有效的方法来过

• dataframe - Julia - DataFrame 的频率表

  我刚找到这个包FreqTables ，它允许人们轻松地从 DataFrames 构建频率表(我正在使用 DataFrames.jl)。 以下代码行返回一个频率表: df = CSV.read("exa

• dataframe - Julia DataFrames 中的高效自定义排序？

  是否有一种快速的方法可以为 sort 指定自定义订单？/sort!在 Julia DataFrames 上？ julia> using DataFrames julia> srand(1); juli

• dataframe - Julia Dataframes 中的重复列

  在 Python Pandas 和 R 中，可以轻松去除重复的列 - 只需加载数据、分配列名，然后选择那些不重复的列。 使用 Julia Dataframes 处理此类数据的最佳实践是什么？此处不允许