- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我有一个 NetworkX 图 (g
),它有大约 25k 个节点和 125k 个边。我想使用 memcached 缓存 g
但 g
太大了。我最多可以将每个项目的 memcached 限制增加到 32MB,但这是行不通的。
我是否应该尝试让它与 memcached 一起工作?
如果我希望能够存储最多具有 1m 个节点和 10m 个边的 networkx 图,我还有哪些其他选择?
在 (a) 对图一无所知,以及 (b) 以导致最小性能下降的方式将图 block 重新组合在一起的情况下,我如何对图进行分块以使其更小。
<我正在使用 python。附上创建图表的示例代码。
import sys
import pickle
import random
import networkx as nx
from django.core.cache import cache
def randstring(x=3):
return ''.join([chr(random.randrange(65, 91)) for _ in range(x)])
class Qux(object):
def __init__(self, foo, bar):
self.foo = foo
self.bar = bar
for n, v in {1: 500, 2: 5000, 3: 50000}.items():
g = nx.Graph()
nodes = [Qux(randstring(), randstring()) for _ in range(v)]
g.add_nodes_from(nodes)
for node in g.nodes:
num = random.randrange(25)
edges = [(node, random.choice(nodes)) for _ in range(num)]
g.add_edges_from(edges)
print len(g.nodes), sys.getsizeof(pickle.dumps(g))
cache.set('{}/graph'.format(n), g, 3600)
Memcached 控制台输出(memcached -I 32M -vv
)
<20 new auto-negotiating client connection
20: Client using the ascii protocol
<20 set :1:1/graph 1 3600 130678
>20 STORED
<20 delete :1:2/graph
>20 NOT_FOUND
<20 delete :1:3/graph
>20 NOT_FOUND
最佳答案
如果您查看 NetworkX 的代码,就会发现图形只不过是 python 指令。如果您需要的唯一功能是访问节点和边,那么使用字典构建图形并将文件转换为 JSON 可以让您缓存图形。向无向加权图添加边的代码本质上是这样的:
G_New = {}
for edge in edges:
try:
G_New[edge['node1'].update({edge['node2']: edge['weight']})
except KeyError:
G_New[edge['node1']] = {edge['node2']: edge['weight']}
try:
G_New[edge['node2']].update({edge['node1']: edge['weight']})
except KeyError:
G_New[edge['node2']] = {edge['node1']: edge['weight']}
之后是一个简单的json.dumps(G_New)
。对于较大的图形,您可以将 dict 拆分为较小的组件并将每个组件托管在内存缓存上。因此 How to split dictionary into multiple dictionaries fast
关于python - 具有大对象的 Memcached(NetworkX 图),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52857627/
我想填充 3D 等高线图 (contour3(X,Y,Z)),就像 2D 等高线填充图 (contourf(X,Y,Z))。但我无法弄清楚如何实现这一目标。 contour3 和 surf 的组合不是
我有一个 c3.js 折线图,表示 2 个值的演变。我需要折线图的工具提示是饼图(工具提示 = 另一个 c3.js 图形)。 这是我成功的: http://jsfiddle.net/owhxgaqm/
我有具有结构的 Pandas 数据框: A B 0 1 1 1 2 1 2 3 4 3 3 7 4 6 8 如何生成 Seaborn Violin 图,每列作为其自己的单独
我正在使用 D3DXSPRITE 方法将我的 map 图 block 绘制到屏幕上,我刚刚添加了一个缩放功能,当您按住向上箭头时会放大,但注意到您现在可以看到图 block 之间的间隙,这是一些屏幕截
1、系统环境如下图: 2、为该系统添加一块新的虚拟硬盘,添加后需重启虚拟机,否则系统不识别;如下图,/dev/sdc 是新添加的硬盘; 3、fdisk /dev/sdc为新硬盘创建分区:
1、nagios简介 nagios是一款开源的电脑系统和网络监视工具,能有效监控windows、linux和unix的主机状态,交换机路由器等网络设置,打印机等。在系统或服务状态异常时发
越来越多人开始习惯用手机上网,浏览网页、查看邮件···移动化已经成为互联网发展必然趋势,包括facebook在内的很多互联网公司都将移动广告作为下一个淘金地
1.图片处理 1.圆角图片 复制代码 代码如下: /** * 转换成圆角 * &n
Microsoft SQL Server Management Studio是SQL SERVER的客户端工具,相信大家都知道。我不知道大伙使用导入数据的情况怎么样,反正我最近是遇到过。主要是因为没
debian6系统: 首先先安装mysql吧: 打开终端(root)用户登入 apt-get purge mysql-server-5.5 安装完成后: 默认情况下Mysql只允许本地登录
fedora16英文环境下支持中文输入法的方法 fedora16英文环境下支持FCITX的中文输入法: $ im-chooser 就会出现选择界面,选择第二个就行了。
Net预编译命令 C:\WINDOWS\Microsoft.NET\Framework\v2.0.50727\aspnet_compiler.exe -? 显示说明 我们需要选择的命令为&n
有的时候电脑出现一些故障有的时候通过将其修改bios设置的方法来解决故障,那么在bios上设置能不能将电脑恢复出厂设置呢?其实也是可以的。方法也很简单的,只要会进入电脑的bios懂的上面英文的意思就
笔者曾介绍过Deepin 将对龙芯进行全面支持,打造最优美龙芯电脑桌面。现在Deepin团队移植工作取得了突破性的成果,Deepin桌面已经在龙芯3A和龙芯3B电脑上成功运行起来了。 以下为龙芯3
在安装一些软件之后,我们的电脑总是会发生一点小变化,不是桌面上多了几个网址图标,就是IE浏览器的默认主页被篡改成乱七八糟的网址。最可气的是,在IE设置中将默认主页改回来后,下次启动Win7后又变了回
“注册表编辑器怎么打开”虽说不是很难的问题,但是对于对电脑常识不是很擅长的网民来说,当电脑出现问题或需要更改设置时,着实还是件头疼的问题。因为需要打开注册表进行操作解决。那么如何打开注册表编辑器呢?
这篇文章重点介绍10个重要的WordPress安全插件和技巧,用来保护WordPress网站或者博客。 1. WP Security 人工帮助你修复被黑客入侵的网站,只要按照他们网站上的联系电话
其实运用object和javascript调用外部文件,也能实现不同栏目调用不同友情链接,即相当于调用不同栏目友情链接文件, {dede:field.typeid/}来获取当前栏目的ID。
我有一个复值矩阵。 如果我发出命令: plot(myMatrix) 然后它在图形设备上显示一种散点图,X 轴标记为 Re(myMatrix),Y 轴标记为 Im(myMatrix)。这显示了我正在寻找
关闭。这个问题需要更多focused .它目前不接受答案。 想改善这个问题吗?更新问题,使其仅关注一个问题 editing this post . 4年前关闭。 Improve this questi
我是一名优秀的程序员,十分优秀!