python - 如何将数据框转换为 great_expectations 数据集？

Question

我有一个 pandas 或 pyspark 数据帧 df 我想在其中运行期望。我已经在内存中有我的数据框。如何将我的数据框转换为 great_expectations 数据集？

这样我可以做例如:

df.expect_column_to_exist("my_column")

Answer 1

import great_expectations as ge

对于 Pandas :

df_ge = ge.from_pandas(df)

或

df_ge = ge.dataset.PandasDataset(df)

对于 pyspark:

df_ge = ge.dataset.SparkDFDataset(df)

现在你可以运行你的期望了

df_ge.expect_column_to_exist("my_column")

Note that the great_expectations SparkDFDataset does not inherit the functions from the pyspark DataFrame. You can access the original pyspark DataFrame by df_ge.spark_df