php - 通过流访问大对象 (LONGBLOB)

Question

我正在尝试使用数据库缓存作为缓存非常大的对象的一种方式，然后我想流式传输这些对象而不是加载到内存中并返回。

为此，我尝试了以下方法:

我使用以下迁移创建了我的数据库缓存:

public function up() {
    Schema::create('cache', function (Blueprint $table) {
        $table->string('key')->unique();
        $table->longText('value');
        $table->integer('expiration');
    });
    DB::statement("ALTER TABLE `cache` MODIFY `value` LONGBLOB");
}

改变的原因是因为 longText 不能很好地处理我需要存储的一般二进制对象。

然后我尝试了以下代码来测试 blob 字段的流:

public function test(Request $request) {
    cache()->store("database")
        ->put("randomStr", str_random(1024), 5); //Test string. Real cases are about 200 MB

    return response()->stream(function () {
        $fullKey = config("cache.prefix")."randomStr";
        $pdo = \DB::getPdo();
        $stmt = $pdo->prepare("select `value` from `cache` where `key`=:key");
        $stmt->bindParam("key", $fullKey);
        if ($stmt->execute()) {
            $stmt->bindColumn(1, $lob, \PDO::PARAM_LOB);
            $stmt->fetch(\PDO::FETCH_BOUND);
            fpassthru($lob);
        }
    });
}

此代码基于 PHP: Large Objects手册页。

但是我收到以下错误:

fpassthru() expects parameter 1 to be resource, string given

我检查了 $lob 参数，发现它是实际的字符串，而不是我所希望的到 LARGEBLOB 字段的流。

有没有办法让 BLOB 的流在 Laravel 中工作？

注意:显然有 bug #40913自 2007 年开放以解决此问题，现在我提出了一个问题:

是否有任何方法可以使用 PDO 或 mysqli 或 PHP 中的任何其他解决方法将 LARGEBLOB 流式传输到响应？

Answer 1

好吧，我已经找到了的方法来解决这个问题，但它并不漂亮，远不是那么好。

所以这里发生了一些事情。

1. 首先，我必须改变我的 cache()->driver(..)->put 方法来直接操作数据库。我这样做是因为遍历数据库有一个序列化步骤，在流出数据时我无法处理这个步骤。此外，最终目的是让插入成为一个流式操作，这样会更容易。
2. 我安装了mysql命令行客户端
3. 我构建了一个命令行界面命令，它将获取我想要的数据，通过正确的身份验证并构建要通过 -e 传递的查询。注意:我本可以通过 escapeshellarg 转义 shell 参数做得更好，但对于我来说，我无法让它处理反引号。另请注意 -N 参数，该参数用于从结果中删除列标题。
4. 我使用了 proc_open，它允许将输入/输出流传递回 PHP。我用它来将响应流式传输到浏览器。注意:我还定义了其他流，我不是 proc_open 专家所以我不知道这是否有必要。

代码如下:

public function test(Request $request) {
    $fullKey = config("cache.prefix")."randomStr";
    \DB::table("cache")
        ->updateOrInsert([
            "key" => $fullKey,
        ], [
            "value" => str_random(1024),
            "expiration" => Carbon::now(new \DateTimeZone("UTC"))->getTimestamp() + 5*60
        ]);
    return response()->stream(function () use ($fullKey) {
        $command = "/usr/bin/mysql";
        $arguments = [
            "-h ".config("database.connections.mysql.host"),
            "-P ".config("database.connections.mysql.port"),
            "-u ".config("database.connections.mysql.username"),
            "-p".config("database.connections.mysql.password"),
            "-D ".config("database.connections.mysql.database"),
            "-e \"SELECT \\`value\\` FROM \\`cache\\` WHERE \\`key\\`='$fullKey'\"",
            "-N"
        ];
        $p = proc_open($command." ".implode(" ",$arguments),[
            [ "pipe", "r"  ],
            [ "pipe", "w"  ],
            [ "pipe", "w"  ]
        ], $pipes);
        fpassthru($pipes[1]);
        fclose($pipes[0]);
        fclose($pipes[1]);
        fclose($pipes[2]);
        proc_close($p);
    });

}

这似乎可行，但并不完美。我可能会把它包装在某个地方，再也不用看它了，但我愿意听取任何可以做得更好的人的建议。

注意:所有这些只是为了解决一个已经存在 11 年的错误。我希望这实际上可以帮助其他人。