c++ - 如何在使用C/C++的Linux中将文件直接存储在某些连续磁盘 block 中？

Question

Closed. This question needs to be more focused。它当前不接受答案。
                            
                        
                    
                
                            
                                
                
                        
                            
                        
                    
                        
                            想改善这个问题吗？更新问题，使其仅通过 editing this post专注于一个问题。
                        
                        2年前关闭。
                                                                                            
                
        
我正在制作一个由16个以上HDD组成的小型简单存储系统。我需要存储的所有文件都是100MB〜1GB。使用一个完整的文件系统在一个小问题上大惊小怪。我只需要将它们存储到
/dev/sd[bcd...]并记住它们的存储位置以防读取。

我认为Write（）/ fwrite（）会涉及系统缓冲区和文件系统吗？如何像 dd一样有效地跳过文件系统并使用C / C ++将文件直接直接存储在肯定连续的磁盘块中？

最佳答案

page cache正在提高性能，因此您不想绕过它（或文件系统和内核中的其他层）。顺便说一句，您认为dd会绕过它们（并且您可以strace(1)一些dd命令进行检查）是错误的，因为dd正在使用（如您的应用程序）system calls（在syscalls(2)中列出） ）

您可以阅读Advanced Linux Programming和Operating Systems : Three Easy Pieces（均可免费下载）以了解更多内容。

顺便说一句，在创建文件系统（例如mkefs）时，您可以调整块大小之类的参数（例如-b选项设置为mke2fs(8) ...）；也许您可以使用更大的块大小来重新创建文件系统（但这无关紧要）。

您可以将磁盘分区专用于您的应用程序（但您可能不应该这样做）。请参见raw(8)-可能已弃用-和sd(4)。然后格式化您的磁盘并访问例如/dev/sdb3作为代码中的阻止设备。但是，这通常是不明智的。

请注意，这些天的应用程序很少使用原始磁盘分区。例如，考虑RDBMS，例如PostGreSQL或MySQL。在1980年代，他们通常使用原始磁盘分区，而如今，他们使用大型磁盘文件（因此文件开销无关紧要），并定期管理许多TB的数据集。

如果您关心性能，我建议改为对read(2)和write(2)操作使用较大的缓冲区（例如，兆字节或其中的一部分，而不是千字节），也许与posix_fadvise(2)（甚至是readahead(2) ）系统调用。使用O_DIRECT到open(2)（在Maxim's answer中提到）会绕过页面缓存，因此可能减慢速度（即使在某些情况下可能会稍微加快速度）。另请参见fsync(2)。在某些（但不是全部）情况下，使用mmap(2)通过内存映射访问文件可能很有用。找出适合您的特定应用程序和计算机（包括硬件）的良好缓冲区大小的基准。

但是您不会得到奇迹：瓶颈可能是磁盘硬件本身（而不是文件系统或任何其他软件层）。如果可能，购买更多的RAM（以获得更好的page cache）并获得快速的SSD。

也许（或也许）您应该考虑使用RDBMS（PosGresSQL，MySQL）或非SQL DBMS（MongoDb等）或Sqlite或GDBM之类的库。它们经过微调，并支持许多TB。

对于庞大的数据集（PB），您可能会重新设计应用程序，购买/使用/开发专用的硬件和软件并聘请专家（但在这里您将不再问）。对于大容量内容（TB），明智的做法是使用文件，如今，对数TB的大文件进行了很好的管理。如果您有很多-例如您可能希望将其存储在数百万个文件中（每个文件较小）（例如，dir01/subdir234/file4566之类的较长路径）；如果可能，请避免使用大型目录（例如成千上万个文件）。我认为没有理由要使用连续的磁盘块，因为文件系统今天可以很好地进行管理。

顺便说一句，在当前的磁盘硬件（包括旋转和固态硬盘）上，“连续”块意义不大。

还要寻找与您类似的free software应用程序现有代码的灵感。

注意。我猜测“大文件”是指可以保存在单个磁盘上的东西（最多几个TB）。


  我需要存储的所有文件都是100MB〜1GB。


这些文件实际上是非常小（或至少中等大小）的文件，它们很可能完全位于RAM中（在页面缓存中，另请参见http://linuxatemyram.com/ ...）。因此，您实际上不应该打扰，当然，最好将它们作为普通文件保存在某些普通文件系统中（实际上无需调整任何内容）。


  我所需要做的就是将它们存储在/dev/sd[bcd...]中，并记住它们的存储位置，以防读取。


看来您似乎想绕过文件系统，使用一些原始磁盘分区，并且在用户界面代码中痛苦地模仿文件系统的角色。简而言之，不要这样做（记住文件系统在内核中设计和调整的系统代码非常好；仅在几个月的工作中您就不会做得那么好）。甚至可能更糟（因为您将无法像系统那样高效地使用页面缓存）。在普通文件系统中将数据保留为普通文件。
（生命很短暂，不要重新发明轮子！）。


  我正在制作一个由16个以上HDD组成的小型简单存储系统。


也许您想要一个LVM和/或一些RAID。我很惊讶您提到一个小东西，它具有超过16个磁盘（也许购买更少但更大的磁盘可能更好）。顺便说一句，用16个磁盘来保存几十个文件（每个文件分别为数GB）实在是太过分了（因为它可以容纳一个TB的磁盘）。不要忘记有足够的内存！并且不要忘记备份！

请记住，CPU faster是磁盘（甚至是SSD）的数千倍。因此，几乎总是文件系统软件层的开销无关紧要。可能您的代码受I / O约束，而不是CPU约束，因此针对CPU优化代码是没有用的（但是，调整缓冲区大小等是值得的，但您应该进行基准测试）。

附言遗憾的是，您正在问与同一任务相关的several问题，但没有给出足够的上下文，动机和详细信息（数据的量和带宽，什么计算机，什么样的应用程序和代码，什么域）和工业等...）。我敢肯定，有了更好，更详细的问题-只要得到这个答案，您就会得到更好，更有用的答案。

关于c++ - 如何在使用C/C++的Linux中将文件直接存储在某些连续磁盘 block 中？ ，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/46326867/

上一篇：c - 当为 unsigned char 分配大于 255 的整数时，它会给出不同的输出，为什么？

下一篇：c - 如何删除某个范围内逗号分隔的素数中的最后一个逗号？

相关文章：

c - char * 上的段错误++运算符

linux - 如何在命令中插入循环

linux - 我的密码挑战问题

linux - 我可以从提取中恢复 GIT 存储吗

c++ - 下面的过程在C++中可以循环多少次？

c++ - 当您只能期望使用程序的地方出现建议文件锁时，如何安全地编程？

c++ - C/C++宏扩展

c - fork 如何使用 PID 杀死一个进程

c++ - 在 C++ 中加密并在 Python 中解密

c++ - QT C++ - 在线程类中使用 MainWindow 类 QString

Answer 1

page cache正在提高性能，因此您不想绕过它（或文件系统和内核中的其他层）。顺便说一句，您认为dd会绕过它们（并且您可以strace(1)一些dd命令进行检查）是错误的，因为dd正在使用（如您的应用程序）system calls（在syscalls(2)中列出） ）

您可以阅读Advanced Linux Programming和Operating Systems : Three Easy Pieces（均可免费下载）以了解更多内容。

顺便说一句，在创建文件系统（例如mkefs）时，您可以调整块大小之类的参数（例如-b选项设置为mke2fs(8) ...）；也许您可以使用更大的块大小来重新创建文件系统（但这无关紧要）。

您可以将磁盘分区专用于您的应用程序（但您可能不应该这样做）。请参见raw(8)-可能已弃用-和sd(4)。然后格式化您的磁盘并访问例如/dev/sdb3作为代码中的阻止设备。但是，这通常是不明智的。

请注意，这些天的应用程序很少使用原始磁盘分区。例如，考虑RDBMS，例如PostGreSQL或MySQL。在1980年代，他们通常使用原始磁盘分区，而如今，他们使用大型磁盘文件（因此文件开销无关紧要），并定期管理许多TB的数据集。

如果您关心性能，我建议改为对read(2)和write(2)操作使用较大的缓冲区（例如，兆字节或其中的一部分，而不是千字节），也许与posix_fadvise(2)（甚至是readahead(2) ）系统调用。使用O_DIRECT到open(2)（在Maxim's answer中提到）会绕过页面缓存，因此可能减慢速度（即使在某些情况下可能会稍微加快速度）。另请参见fsync(2)。在某些（但不是全部）情况下，使用mmap(2)通过内存映射访问文件可能很有用。找出适合您的特定应用程序和计算机（包括硬件）的良好缓冲区大小的基准。

但是您不会得到奇迹：瓶颈可能是磁盘硬件本身（而不是文件系统或任何其他软件层）。如果可能，购买更多的RAM（以获得更好的page cache）并获得快速的SSD。

也许（或也许）您应该考虑使用RDBMS（PosGresSQL，MySQL）或非SQL DBMS（MongoDb等）或Sqlite或GDBM之类的库。它们经过微调，并支持许多TB。

对于庞大的数据集（PB），您可能会重新设计应用程序，购买/使用/开发专用的硬件和软件并聘请专家（但在这里您将不再问）。对于大容量内容（TB），明智的做法是使用文件，如今，对数TB的大文件进行了很好的管理。如果您有很多-例如您可能希望将其存储在数百万个文件中（每个文件较小）（例如，dir01/subdir234/file4566之类的较长路径）；如果可能，请避免使用大型目录（例如成千上万个文件）。我认为没有理由要使用连续的磁盘块，因为文件系统今天可以很好地进行管理。

顺便说一句，在当前的磁盘硬件（包括旋转和固态硬盘）上，“连续”块意义不大。

还要寻找与您类似的free software应用程序现有代码的灵感。

注意。我猜测“大文件”是指可以保存在单个磁盘上的东西（最多几个TB）。


  我需要存储的所有文件都是100MB〜1GB。


这些文件实际上是非常小（或至少中等大小）的文件，它们很可能完全位于RAM中（在页面缓存中，另请参见http://linuxatemyram.com/ ...）。因此，您实际上不应该打扰，当然，最好将它们作为普通文件保存在某些普通文件系统中（实际上无需调整任何内容）。


  我所需要做的就是将它们存储在/dev/sd[bcd...]中，并记住它们的存储位置，以防读取。


看来您似乎想绕过文件系统，使用一些原始磁盘分区，并且在用户界面代码中痛苦地模仿文件系统的角色。简而言之，不要这样做（记住文件系统在内核中设计和调整的系统代码非常好；仅在几个月的工作中您就不会做得那么好）。甚至可能更糟（因为您将无法像系统那样高效地使用页面缓存）。在普通文件系统中将数据保留为普通文件。
（生命很短暂，不要重新发明轮子！）。


  我正在制作一个由16个以上HDD组成的小型简单存储系统。


也许您想要一个LVM和/或一些RAID。我很惊讶您提到一个小东西，它具有超过16个磁盘（也许购买更少但更大的磁盘可能更好）。顺便说一句，用16个磁盘来保存几十个文件（每个文件分别为数GB）实在是太过分了（因为它可以容纳一个TB的磁盘）。不要忘记有足够的内存！并且不要忘记备份！

请记住，CPU faster是磁盘（甚至是SSD）的数千倍。因此，几乎总是文件系统软件层的开销无关紧要。可能您的代码受I / O约束，而不是CPU约束，因此针对CPU优化代码是没有用的（但是，调整缓冲区大小等是值得的，但您应该进行基准测试）。

附言遗憾的是，您正在问与同一任务相关的several问题，但没有给出足够的上下文，动机和详细信息（数据的量和带宽，什么计算机，什么样的应用程序和代码，什么域）和工业等...）。我敢肯定，有了更好，更详细的问题-只要得到这个答案，您就会得到更好，更有用的答案。