azure - Databricks - 从文件夹中读取 CSV 文件

Question

从dbfs:/FileStore/shared_uploads/prasanth/Company.csv中选择*

我正在尝试从 azure 数据 block 中的文件夹中选择记录，但我面临着这个问题错误SQL语句:AnalysisException:找不到表或 View

Answer 1

我重现了这个错误。

当 databricks SQL 中没有之前以该名称创建的表或 View 时，会发生此错误。在上面，您尝试查询 dbfs:/filepath.csv，它不是 Databricks SQL 中的表或 View 。

要在 databricks SQL 中访问 dbfs 文件，首先我们需要为其创建一个表或 View ，并将 csv 文件数据复制到其中。然后我们可以查询该表。

代码:

%sql
/*Table creation with schema*/
CREATE OR REPLACE TABLE  table1
( 
Id int,Name varchar(32),Age int,marks int
);

/*Copying dbfs csv data into table*/
copy into table1
  from "dbfs:/FileStore/tables/mycsv2.csv"
  FILEFORMAT = csv
  FORMAT_OPTIONS('header'='true','inferSchema'='True');

select * from table1;

我的执行:

另一种替代方法(在 databricks SQL 中查询 csv)可以使用 pyspark 或 scala dataframe，如上面 @ASH 所建议的。

读取 csv 文件，然后创建临时 View 。

代码:

%python
spark_df=spark.read.csv("dbfs:/FileStore/tables/mycsv2.csv",header=True)
#Creating temporary view for the dataframe.
spark_df.createOrReplaceTempView("mycsvview1")

%sql
select * from mycsvview1;

输出供您引用: