java - 延迟递归 Java 8 流

Question

我正在使用 Google Cloud Java API 从 Google Cloud Storage (GCS) 中获取对象。其代码如下所示:

Storage storage = ...
List<StorageObject> storageObjects = storage.objects().list(bucket).execute().getItems();

但这不会返回 GCS 桶中的所有项目(存储对象)，它只会返回第一个“页面”中的前 1000 个项目。因此，为了获得接下来的 1000 件元素，您应该这样做:

Storage.Objects.List list = storage.objects().list(bucket).execute();
String nextPageToken = objects.getNextPageToken();
List<StorageObject> itemsInFirstPage = objects.getItems();

if (nextPageToken != null) {
    // recurse
}

我想做的是找到一个匹配 Predicate 的项目，同时遍历 GCS 桶中的所有项目，直到匹配谓词。为了提高效率，我只想在当前页面中找不到项目时才加载下一页中的项目。对于单个页面，这有效:

Predicate<StorageObject> matchesItem = ...
takeWhile(storage.objects().list(bucket).execute().getItems().stream(), not(matchesItem));

takeWhile 是从 here 复制而来的.

这将递归地从所有页面加载存储对象:

private Stream<StorageObject> listGcsPageItems(String bucket, String pageToken) {
    if (pageToken == null) {
        return Stream.empty();
    }


    Storage.Objects.List list = storage.objects().list(bucket);
    if (!pageToken.equals(FIRST_PAGE)) {
        list.setPageToken(pageToken);
    }
    Objects objects = list.execute();
    String nextPageToken = objects.getNextPageToken();
    List<StorageObject> items = objects.getItems();
    return Stream.concat(items.stream(), listGcsPageItems(bucket, nextPageToken));    
}

FIRST_PAGE 只是一个“魔法”String，指示该方法不设置特定页面(这将导致第一页项目)。

这种方法的问题在于它是急切的，即所有页面的所有项目都在应用“匹配谓词”之前加载。我希望这很懒惰(一次一页)。我怎样才能做到这一点？

Answer 1

我会实现自定义 Iterator<StorageObject>或 Supplier<StorageObject>这将使当前页面列表和下一页标记保持在其内部状态，生成 StorageObject一个一个。

然后我将使用以下代码找到第一个匹配项:

Optional<StorageObject> result =
    Stream.generate(new StorageObjectSupplier(...))
        .filter(predicate)
        .findFirst();

Supplier 只会在找到匹配项之前被调用，即 lazily。

另一种方法是按页实现供应商，即class StorageObjectPageSupplier implements Supplier<List<StorageObject>>并使用流 API 将其展平:

Optional<StorageObject> result =
    Stream.generate(new StorageObjectPageSupplier(...))
        .flatMap(List::stream)
        .filter(predicate)
        .findFirst();