google-cloud-storage - 来自 S3 的云存储传输服务卡在 "this transfer is starting"

Question

我们应用程序的一部分通过存储传输服务 API 启动从 Amazon S3 到 Google Cloud Storage 的传输。我们已经成功启动并运行了几个月，直到昨天我们的传输停止工作。我们可以看到在控制台中启动了一个传输，但它无限期地挂起并显示一个历史记录项:“此传输正在开始......”我们有一个后台进程轮询传输状态，我们看到它返回“transfer_calculating”状态

在尝试调试此问题时，我们通过 storage console 设置了传输.我们使用了与我们的应用程序相同的 AWS 访问 key ID/ secret 访问 key ，传输成功完成。这使我们相信问题与传输服务 API 或启动 API 调用的代码无关。

转职代码:

TransferJob tjob = new TransferJob()
    .setDescription(description)
    .setStatus('ENABLED')
    .setProjectId(transferGoogleProject)
    .setTransferSpec(
    new TransferSpec()
        .setGcsDataSink(new GcsData().setBucketName(googleStorageBucket))
        .setAwsS3DataSource(
        new AwsS3Data()
            .setBucketName(s3Bucket)
            .setAwsAccessKey(new AwsAccessKey().setAccessKeyId(transferAwsKey).setSecretAccessKey(transferAwsSecret)))
        .setObjectConditions(new ObjectConditions().setIncludePrefixes(s3Keys))
        .setTransferOptions(
        new TransferOptions()
            .setDeleteObjectsFromSourceAfterTransfer(false)
            .setOverwriteObjectsAlreadyExistingInSink(true)
            .setDeleteObjectsUniqueInSink(false)))
    .setSchedule(
    new Schedule()
        .setScheduleStartDate(date)
        .setScheduleEndDate(date)
        .setStartTimeOfDay(time))

tjob = storagetransfer.transferJobs().create(tjob).execute()

库配置:

<dependency>
    <groupId>com.google.api-client</groupId>
    <artifactId>google-api-client</artifactId>
    <version>1.19.1</version>
</dependency>
<dependency>
    <groupId>com.google.apis</groupId>
    <artifactId>google-api-services-bigquery</artifactId>
    <version>v2-rev191-1.19.1</version>
</dependency>
<dependency>
    <groupId>com.google.apis</groupId>
    <artifactId>google-api-services-storage</artifactId>
    <version>v1-rev26-1.19.1</version>
</dependency>
<dependency>
    <groupId>com.google.apis</groupId>
    <artifactId>google-api-services-storagetransfer</artifactId>
    <version>v1-rev3-1.19.1</version>
</dependency>
<dependency>
    <groupId>com.google.oauth-client</groupId>
    <artifactId>google-oauth-client</artifactId>
    <version>1.19.0</version>
</dependency>
<dependency>
    <groupId>com.google.http-client</groupId>
    <artifactId>google-http-client</artifactId>
    <version>1.19.0</version>
</dependency>
<dependency>
    <groupId>com.google.http-client</groupId>
    <artifactId>google-http-client-jackson2</artifactId>
    <version>1.19.0</version>
</dependency>

我们已经在我们的开发环境中将版本提升到 1.21.0，但传输仍然停留在“此传输正在开始...”

此时我们陷入困境，还有其他人遇到过这个问题吗？

Answer 1

根据 Google 的 @mayur-deshpande 提供的反馈(谢谢!)，我们的问题源于传递给 setStartTimeOfDay() 的时间值需要采用 UTC。到目前为止，我们使用了 US/Pacific，这是来自 creating transfers development guide 的以下片段中规定的。

/**
 * Specify times below using US Pacific Time Zone.
 */
private static final String START_DATE = "YYYY-MM-DD";
private static final String START_TIME = "HH:MM:SS";

由于时差，我们发送请求的时间已经过去，所以传输处于开始状态，直到第二天到达我们的时间。当请求最终完成时，我们看到了这种情况。

当天 setStartTime() 的 javadoc 确实指出需要使用 UTC:

/**
 * The time in UTC at which the transfer will be scheduled to start in a day. Transfers may start
 * later than this time. If not specified, transfers are scheduled to start at midnight UTC.
 * @param startTimeOfDay startTimeOfDay or {@code null} for none
 */
public Schedule setStartTimeOfDay(TimeOfDay startTimeOfDay)

上面引用的示例代码应该反射(reflect)了这一要求，因此我将在 github 存储库中提交问题。

此外，由于我们只进行一次传输，因此我们确保将开始时间设置为 future 一分钟，以解决服务器之间的细微时差:

DateTime now = new DateTime().plusMinutes(1)
Date date = new Date().setDay(now.dayOfMonth).setMonth(now.monthOfYear).setYear(now.year)
TimeOfDay time = new TimeOfDay().setHours(now.hourOfDay).setMinutes(now.minuteOfHour).setSeconds(0)