.net - 如何在没有笔记本的情况下从Azure Databricks Spark集群查询数据？

Question

我在 https:azuredatabricks.net 上托管了一个正在运行的 Spark 2.3.1 集群，我创建了一个带有永久表的数据库，并且能够通过 Notebook Web 界面运行查询。
现在我正在寻找一种从 .Net 控制台应用程序查询同一集群的方法，但我迷失了。

<强>1。是否有可用于执行 SQL/Python 查询的 Rest API？
2. 如何配置 ODBC 连接字符串以连接到集群以及有哪些可用的 ODBC 驱动程序？

最终，我正在寻找一种方法，使用户能够通过使用 JavaScript 或 .Net 代码编写的 Web App/REST 服务对 Spark 集群运行几个预定义的参数化查询之一。

Answer 1

据我所知，目前没有办法在 Databricks 工作区之外查询 Databricks 表。

根据您尝试完成的任务，您可以利用 REST API 来执行执行参数化查询的作业(Notebook 或 JAR)。 Databricks REST API 文档 ( https://docs.azuredatabricks.net/api/latest/jobs.html#run-now ) 对此进行了描述。如果您需要 .NET 应用程序中的查询结果，您的选择将受到限制，最好的选择可能是将查询结果写入 Data Lake Storage 或 Blob Storage 中的文件，然后从与您的控制台应用程序一起。您可以将文件名作为参数从控制台应用程序传入，以便在执行完成后轻松检索它。

要从 .NET 连接到集群，您需要使用 Databricks 访问 token 和身份验证 REST API ( https://docs.azuredatabricks.net/api/latest/authentication.html )。