c++ - 1亿节点大图的C++表示

Question

我正在处理一个非常大的图，它有 5 亿个节点，节点的平均度为 100。所以它是一种稀疏图。我还必须存储每条边的权重。我目前正在使用两个 vector ，如下所示

// V could be 100 million
vector<int> *AdjList = new vector<int>[V];
vector<int> *Weight  = new vector<int>[V];

使用 vector 的 vector 似乎不节省空间。它需要超过 400 GB 的存储空间。有没有更好的节省空间的方法来将这个大图存储在内存中？有使用任何 C++ 库的建议吗？

Answer 1

初步说明

您可以考虑使用 vector 的 vector 而不是使用动态内存分配:

vector<vector<int>> AdjList(V);

无论如何，你都会有 V 不同的 vector<int>在你的邻接列表中。每个 vector 都需要一些空间开销来管理其项目的大小和位置。不幸的是，您通过将权重保持在不同的 vector/数组中来使这种开销(以及添加新链接时相关的隐藏内存管理)加倍。

那么为什么不重新组合邻接表和权重呢？

struct Link {  
   int target;   // node number that was in adj list.  Hope none is negative!!
   int weight;   
};
vector<vector<Link>> AdjList(V);

结构稀疏吗？

如果绝大多数节点都有某种链接，这很好。

如果相反，许多节点没有传出链接(或者如果您有大量未使用的节点 ID 范围)，那么您可以考虑:

map<int, vector<Link>> AdjList;  

map是一个关联数组。只有具有传出链接的节点的 vector 。顺便说一句，您可以为您的节点使用任何您想要的编号方案，甚至是负编号方案。

您甚至可以更进一步，使用双贴图。第一张 map 为您提供传出节点。第二张图将目标节点映射到权重:

map<int, map<int, int>> Oulala; 

但这有可能会占用更多内存。

大批量 ?

map和 vector使用默认分配器动态管理内存。但是你有很多预定大小的小物体。所以你可以考虑使用自己的 allocator .这可以显着优化内存管理开销。

此外，如果您使用 vector ，当您加载新节点的邻接列表时，立即保留 vector 的大小(如果您知道的话)可能会很有效。这可以避免为 vector 的增长进行多次连续的重新分配。对于数百万个节点，这可能非常昂贵。

库 ?

第三方库的搜索超出了 SO 的范围。但如果以上提示还不够，您可以考虑使用现有的图形库，例如:

• Boost Graph library : 提升优势
• SNAP: Standford Network Analysis Platform :一个为具有数百万个节点的巨大图形构建(和使用)的库。 (这里的网络是指在节点和边上有数据的图)

周围还有一些其他图形库，但许多似乎不再维护或不是为大容量设计的。