sql - 如何将数据从 OData API 提取到 SQL

Question

我想知道社区对从 OData API 提取数据到 SQL 2008 R2 的建议是什么。我需要创建一个将数据导入 SQL 的夜间作业。我应该创建一个简单的控制台应用程序来遍历 OData API 并导入到 SQL 中吗？或者我可以创建某种类型的 SQL Server BI 应用程序吗？或者有没有更好的方法来做到这一点？

Answer 1

这会很慢。 OData 不是用于批量操作的 API。它旨在让客户端访问单个实体并导航它们之间的关系，最多在一些过滤列表中分页。

通过 OData 提取整个转储不会让任何人高兴。 OData API 所有者将不得不调查谁在他的 API 上进行所有这些夜间爬行，并发现它是您，并且可能会切断您的联系。另一方面，您会发现 OData 不是一种高效的批量传输格式，并且来回编码 HTTP 编码实体并不是使用带宽的最佳方式。并且每次爬取整个数据库，而不是仅仅从上次爬取中发现增量图，只会在数据库达到临界大小 S 时才起作用，此时更新所需的时间比您汇集的频率更长!

此外，如果不是您的数据，则 OData API 的使用条款极有可能明确阻止此类批量抓取。

获取数据的转储、存档并使用 FTP 进行复制。