rest - Delphi - 如何创建通用 REST 调用

Question

使用德尔福西雅图。我有一个可以进行各种 REST 调用的应用程序。其中一些调用可能通过 JSON 返回 10-20 行，而其他调用可能返回 30-40,000 行。我已将 REST 服务器设置为批量返回 1,000 行。当数据返回到我的客户端时，我使用 RestDataAdapter、DataSource 和 Client Data Set 来公开数据，就像它是本地表一样。这部分看起来工作正常。如果我们位于 1000 行的末尾，那么我会更改 URL，并请求下一批 1,000 行。

我的挑战:我想对此进行抽象，以便一个例程可以处理所有场景(至少对于 GET 调用)。棘手的部分是如何处理数据源/客户端数据集 1,000 行问题？一个例子可能有助于澄清...我希望能够执行这样的事情...

...
genericREST_Get(baseURL, resource, suffix);  // This would actually execute the REST call, where the components are in Datamodule DM1.
while not dm1.ds_Generic.DataSet.Eof do
        begin
       ... some kind of processing
       dm1.ds_Generic.DataSet.Next;
        end;

如何处理超过 1000 行阈值的情况？当我的调用程序(如上所示)从第 1000 行转到第 1001 行时，REST API 需要从服务器请求下一组 1000 行。虽然我知道如何做到这一点，但我不知道在哪里做到这一点。我希望“获取接下来的 1000 行”位于通用例程(又名 genericREST_Get 例程)中。我不希望每个调用例程都必须处理这个问题。

假设所有例程只会向前推进，不会后退。

Answer 1

以下是一些供您考虑的选项:

1) 只需获取所有数据
对于大多数应用程序来说，30-40,000 行在内存中保存的量并不算多。即使您需要进行多次休息调用来获取数据，您也可以预先完成。如果您总是要循环遍历所有数据，那么如果您在循环前面或内部获取它，时间将是相同的:

  repeat
    PartialData := genericREST_Get(baseURL, resource, suffix);
    // CopyDataSet is actually a FireDac method that I don't see on ClientDataSet
    // Basically just .Append and copy all fields with matching names.
    FullDataMemTable.CopyDataSet(PartialData);
  until PartialData.IsEmpty;

2) 如果您希望内存中一次只包含一组数据，您可以将 DataSet 包装在另一个对象中，该对象重复一些调用(Eof、FieldByName、Next 等)。当“Next”命中 eof 时，则您尝试获取更多数据。这里的示例是一个独立的类，但您也可以在 DataModule 上创建这些公共(public)方法。然后，您只需调用 dm1.Next，而不是 dm1.ds_Generic.DataSet.Next 之类的东西。

constructor TDataFetcher.Create(BaseUrl, Resource, Suffix: string);
begin
  FBaseUrl := BaseUrl;
  FResource := Resource;
  FSuffix := Suffix;
end;

procedure TDataFetcher.Open;
begin
  FData := genericREST_Get(FBaseURL, FResource, FSuffix);
end;

procedure TDataFetcher.GetNextData;
begin
  FData := genericREST_Get(FBaseURL, FResource, FSuffix);
end;

function TDataFetcher.Eof: boolean;
begin
  result := FData.Eof;
end;

function TDataFetcher.FieldByName(FieldName: string): TField;
begin
  result := FData.FieldByName(FieldName);
end;

procedure TDataFetcher.Next;
begin
  FData.Next;
  if FData.Eof then
  begin
    GetNextData;
  end;
end;

其他选项:
a) 继承自TClientDataSet您还可以通过从 TClientDataSet 派生一个新类并覆盖 MoveBy 来实现此目的:

function MoveBy(Distance: Integer): Integer; virtual;  

如果 Inherited MoveBy 设置了 EOF，那么您可以加载下一组数据。但是，如果您尝试这样做，请确保考虑所有用例。例如，如果调用者使用 .Last，您希望发生什么？这是包装类的优点之一。除了您公开的内容之外，调用者不能执行任何操作。

function TMyDataSet.MoveBy(Distance: Integer): Integer; override;  
begin
  inherited MoveBy
  if self.Eof then
  begin
    FetchMoreData;
  end;
end;

b) 按需获取
ClientDataSet 内置了对 FetchOnDemand 的支持。我不知道这将如何与 RestDataAdapter 交互。我确信只要进行足够的工作，您就可以找到一个提供程序，该提供程序将返回总记录数，然后让 ClientDataSet 根据需要请求更多记录。