snowflake-cloud-data-platform - 仅使用 REST 和 SQL 命令批量插入到 Snowflake

Question

我正在使用 Snowflake 数据库和 HiQ FRENDS 集成平台。没有(据我所知)FRENDS 的 Snowflake 插件。我在运行 Frends 服务器的 Windows 平台上安装了 sbnowflake ODBC 驱动程序。

我正在寻找一种从 FRENDS 批量上传到 Snowflake 的方法。我明白我应该将我的数据文件上传到 Snowflake 的暂存区，然后使用 COPY 命令将其附加到数据库。但是我还没有找到通过 REST API(或任何其他方法)将我的数据上传到舞台的方法。我发现与此主题相关的唯一文档是 Snowpipes ( https://docs.snowflake.com/en/user-guide/data-load-snowpipe-rest-apis.html )，但我更愿意在我的过程中不需要管道。我知道这是可能的，因为一些软件，例如 Alteryx 可以在目标数据库中不使用管道进行批量上传。

有没有人找到在不调用外部二进制文件(例如 put 命令)的情况下将结构化 JSON/CSV 数据上传到 Snowflake 以进行批量插入的方法？

Answer 1

Snowflake ODBC 驱动程序支持 PUT 命令将文件上传到内部阶段 https://docs.snowflake.com/en/sql-reference/sql/put.html#put

您可以在此处获取 ODBC 驱动程序 https://sfc-repo.snowflakecomputing.com/odbc/index.html

然后您可以使用标准方法通过 ODBC 驱动程序像使用任何其他 SQL 命令一样使用 PUT 命令。请注意，当 ODBC 放置失败时，ODBC 驱动程序提供的消息是通用的。您可以转到 Web UI 中的 Snowflake History 选项卡以获取更详细的错误消息，从而获得更好的信息。

    static void Main(string[] args)
    {
        Console.WriteLine("Connecting to Snowflake...");

        string connetionString = null;
        OdbcConnection cnn;
        connetionString = "Driver={SnowflakeDSIIDriver};Server=XXXXXXXXXXXXX.snowflakecomputing.com;Database=TEST;UID=greg;PWD=*******";
        cnn = new OdbcConnection(connetionString);

        try
        {
            cnn.Open();
            Console.WriteLine("Connected.");

            String putCmd = "put file://C:\\Users\\greg\\Desktop\\MyFile.csv @TEST.PUBLIC.MY_STAGE";

            Console.WriteLine(putCmd);

            OdbcCommand cmd = new OdbcCommand(putCmd, cnn);
            OdbcDataReader rs = cmd.ExecuteReader();

            if (rs.HasRows)
            {
                while (rs.Read())
                {
                    Console.WriteLine("{0}\t{1}\t{2}\t{3}", 
                        rs.GetString(0), rs.GetString(1), rs.GetString(2), rs.GetString(3));
                }
            }
            else
            {
                Console.WriteLine("No rows found.");
            }
            rs.Close();
            cnn.Close();
        }
        catch (Exception e)
        {
            Console.Write("Error: " + e.Message);
        }
        Console.ReadKey();
    }
}