c - 从 C 中的标准输入读取不可预测和不确定(即没有 EOF)大小的输入的最佳方法是什么？

Question

这一定是一个愚蠢的问题，因为这应该是一个非常普遍和简单的问题，但我一直无法在任何地方找到答案，所以我'我会硬着头皮问。

当无法确定数据大小时，我到底应该如何从标准输入读取数据？显然，如果数据以 NUL 或 EOF 之类的某种终止符结尾，那么这就很微不足道了，但我的数据却没有。这是简单的 IPC:两个程序需要来回对话，以 EOF 结束文件流会破坏一切。

我认为这应该相当简单。很明显，程序一直在通过管道相互交谈，不需要任何神秘的技巧，所以我希望有一个简单的答案，我太愚蠢了，无法想到。我试过的都没有用。

一些明显的东西(为简洁起见忽略必要的 realloc):

int size = 0, max = 8192;
unsigned char *buf = malloc(max);
while (fread((buf + size), 1, 1, stdin) == 1)
    ++size;

不会工作，因为 fread() 会阻塞并等待数据，所以这个循环不会终止。据我所知，stdio 中没有任何东西允许非阻塞输入，所以我什至没有尝试过任何这样的功能。这样的事情是我能想到的最好的:

struct mydata {
    unsigned char *data;
    int slen; /* size of data */
    int mlen; /* maximum allocated size */
};

...

struct mydata *buf = xmalloc(sizeof *buf);
buf->data = xmalloc((buf->mlen = 8192));
buf->slen = 0;

int nread = read(0, buf->data, 1);
if (nread == (-1))
        err(1, "read error");

buf->slen += nread;
fcntl(0, F_SETFL, oflags | O_NONBLOCK);

do {
    if (buf->slen >= (buf->mlen - 32))
        buf->data = xrealloc(buf->data, (buf->mlen *= 2));
    nread = read(0, (buf->data + buf->slen), 1);
    if (nread > 0)
        buf->slen += nread;
} while (nread == 1);

fcntl(0, F_SETFL, oflags);

其中 oflags 是一个全局变量，包含 stdin 的原始标志(在程序开始时缓存，以防万一)。只要所有数据都立即出现，这种愚蠢的方法就可以工作，否则就会失败。因为这将 read() 设置为非阻塞，所以如果没有数据，它只返回 -1。与我的程序通信的程序通常会在需要时发送响应，而不是一次全部发送，因此如果数据非常大，它会过早退出并失败。

Answer 1

How on earth should I go about reading from the standard input when there is no way of determining the size of the data?

总有一种方法可以确定大小。否则，该程序将需要无限的内存，因此无法在物理计算机上运行。

这样想:即使在永无止境的数据流的情况下，也必须有一些 block 或点必须处理它。例如，直播视频必须解码其中的一部分(例如一帧)。或者一个视频游戏，它一条一条地处理消息，即使游戏的长度是不确定的。

无论您决定使用哪种 I/O 类型(阻塞/非阻塞、同步/异步...)，这都是正确的。例如，如果你想使用典型的阻塞同步 I/O，你必须做的是在一个循环中处理数据:每次迭代，你读取尽可能多的可用数据，并尽可能多地处理。无论您不能处理什么(因为您还没有收到足够的)，您都可以保留到下一次迭代。然后，循环的其余部分就是程序的其余逻辑。

最后，无论您做什么，您(或其他人，例如库、操作系统、硬件缓冲区...)都必须缓冲传入数据，直到它可以被处理为止。