java - 具有数千万用户的现实社交网络模型。我应该使用哪些技术？

Question

我正在尝试模拟一个现实的社交网络 (Facebook)。我是一名计算机科学研究生，所以我掌握了基本的数据结构和算法。

想法:
我在 java 中开始了这个项目。我的想法是创建多个用户区域。给定区域中的每个用户将拥有随机数量的 friend ，这些 friend 在给定均值附近服从正态分布。每个用户都会有很大一部分或一大群来自他们所属区域的“ friend ”。他们的“ friend ”的其余部分将是来自几个不同随机区域的较小集群。

初始结构
我想创建一个 ArrayList 区域
ArrayList<Area> areas
每个 Area 都有一个 ArrayList of Users
ArrayList<User> users
每个用户持有一个“ friend ”数组列表
ArrayList<User> friends

从那里我可以遍历每个区域，以及该区域中的每个用户，并为该用户提供他们来自该区域的大部分 friend ，以及来自几个随机区域的一些 friend 。只要我的数据集保持较小，这就足够简单了。

问题:
当我尝试创建大型数据集时，由于堆中没有更多内存，我得到了 OutOfMemoryError。我现在意识到，如果我想创建 30 个区域，每个区域有 100 万用户，每个用户有 200 个 friend ，我现在意识到这种方法是不可能的。我用 1 个区域吃掉了将近 2gb...所以现在怎么办。如果我可以提前创建所有用户，然后简单地向每个用户“提供” friend ，我的算法就会起作用。但我需要先创建区域和用户。一个区域需要有一个用户才能成为“ friend ”。

下一步:
我喜欢我的算法，它简单易懂。我需要的是一种更好的方法来存储这些数据，因为它不能同时存储和保存在内存中。我不仅需要访问用户所属的区域，还需要为每个用户访问一些随机区域。

我的问题:
1. 我应该将这些数据放入什么技术/数据结构中。最后我基本上想要一个 User->Friends 关系。 “区域”的想法是使这种关系变得现实的一种方式。
2. 我应该一起使用不同的语言吗？我知道 Lucene、Hadoop 等技术是用 Java 创建的，并用于处理大量数据......但我从未使用过它们，在我深入研究新事物之前希望得到一些指导。
3.我应该从哪里开始？显然我不能只对内存中的数据使用 java。但我还需要先创建这些用户区域，然后才能为用户提供好友列表。

很抱歉读了半长，但我想准确地列出我所在的位置，这样您就可以引导我朝着正确的方向前进。感谢所有花时间阅读/帮助我解决此主题的人。

Answer 1

您需要一个可搜索的存储解决方案来保存您的数据(而不是将其全部保存在内存中)。带有 O/RM(如 Hibernate)的关系数据库(如 Oracle、MySQL 或 SQL Server)或 nosql 数据库，如 mongodb会工作得很好。