- c - 在位数组中找到第一个零
- linux - Unix 显示有关匹配两种模式之一的文件的信息
- 正则表达式替换多个文件
- linux - 隐藏来自 xtrace 的命令
我正在尝试对从我的 Google 时间轴中获得的我自己的位置数据进行一些描述。但是当试图获取一些可用的数据时,将其从 JSON 文件转换为 DataFrame。它提出了一些我想得到一些答案的问题,因为在尝试将 JSON 文件转换为 DataFrame 时,我觉得我将以一种低效的方式进行。
描述我的 JSON 是什么样子。它是一个 3 层深的 JSON,大约有 450 万行。 JSON 的一个小例子:
"locations" : [
{
"timestampMs" : "1489591483",
"latitudeE7" : -21.61909,
"longitudeE7" : 121.65283,
"accuracy" : 23,
"velocity" : 18,
"heading" : 182,
"altitude" : 55,
"activity" : [ {
"timestampMs" : "1489591507",
"activity" : [ {
"type" : "IN_VEHICLE",
"confidence" : 49
}, {
"type" : "UNKNOWN",
"confidence" : 17
}, {
"type" : "ON_BICYCLE",
"confidence" : 15
}, {
"type" : "ON_FOOT",
"confidence" : 9
}, {
"type" : "STILL",
"confidence" : 9
}, {
"type" : "WALKING",
"confidence" : 9
} ]
} ]
},
...
]
为了将其转换为 DataFrame,我想将这 3 个级别展平为 0 个级别。我已经看到一些将 json_normalize 与 .apply 或 .append 结合使用的实现,但因此您仍然需要知道值的键,我宁愿看到它更通用(所以不知道键)。它还需要手动迭代这些值。现在我想知道的是:“是否有一种方法可以在不使用应用或追加的情况下自动将 JSON 扁平化为 0 级?”如果没有这样的方法,将 JSON 扁平化并将其转换为 DataFrame 的首选方法是什么?
编辑:添加了一个 DataFrame 应该是什么样子的例子和一个更好的 JSON 例子。
举一个 DataFrame 应该是什么样子的小例子,见下图:
为了包含一个更好的 JSON 示例,我在下面包含了一个 Pastebin URL: tiny location history sample
最佳答案
使用json_normalize
,指定record_path
和meta_path
。
df = pd.io.json.json_normalize(d, ['locations', 'activity', 'activity'],
['locations', ['locations', 'activity', 'timestampMs']])
df = df.drop('locations', 1).add_prefix('activity.')
v = pd.DataFrame(df['locations'].tolist()).drop('activity', 1)
pd.concat([df, v], 1)
activity.confidence activity.type activity.locations.activity.timestampMs \
0 49 IN_VEHICLE 1489591507
1 17 UNKNOWN 1489591507
2 15 ON_BICYCLE 1489591507
3 9 ON_FOOT 1489591507
4 9 STILL 1489591507
5 9 WALKING 1489591507
accuracy altitude heading latitudeE7 longitudeE7 timestampMs velocity
0 23 55 182 -21.61909 121.65283 1489591483 18
1 23 55 182 -21.61909 121.65283 1489591483 18
2 23 55 182 -21.61909 121.65283 1489591483 18
3 23 55 182 -21.61909 121.65283 1489591483 18
4 23 55 182 -21.61909 121.65283 1489591483 18
5 23 55 182 -21.61909 121.65283 1489591483 18
关于python - 压平深度嵌套的 JSON 以获取 Dataframe 的最快且通用的方法是什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47367665/
什么是更快的安卓? Color.rgb(184, 134, 011); 或 Color.parseColor("#234181"); 还是别的什么? 答案:最快的似乎是: int mycolor =
没错, 基本上我需要计算出从服务器到最终用户的最短路线。我有 2 台服务器 - 一台在英国,一台在美国。 我需要根据最终用户的位置确定从哪个服务器加载内容。 我最初想使用 fsock/curl/fgc
我正在阅读固定宽度整数类型 ( cpp reference) 并遇到int_fast8_t、int_fast16_t、int_fast32_t 和 int_least8_t 类型,int_least1
Closed. This question is opinion-based。它当前不接受答案。 想改善这个问题吗?更新问题,以便editing this post用事实和引用来回答。 6年前关闭。
我有大量目录,我想尽快读取所有文件。我的意思是,不是 DirectoryInfo.GetFiles 快,而是“get-clusters-from-disk-low-level”快。 当然,.NET 2
我尝试寻找最小的可被1到n整除的数字,现在我正在寻求有关进一步压缩/使我的解决方案更有效的方法的建议。如果也有O(1)解决方案,那将非常酷。 def get_smallest_number(n):
有很多不同的方法可以在驱动程序之间选择元素。我想知道哪一个最快且最适合 native 应用程序(iOS 和 Android)。 Appium Driver 类有: findElementByAcces
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 要求我们推荐或查找工具、库或最喜欢的场外资源的问题对于 Stack Overflow 来说是偏离主题的,
让矩阵 A 说 A = magic(100);。我见过两种计算矩阵 A 的所有元素之和的方法。 sumOfA = sum(sum(A)); 或者 sumOfA = sum(A(:)); 其中一个比另一
我想为玩具车在没有障碍物的平面 (2d) 上规划一条路线。玩具车应该从点 (p1x,p1y) 移动到 (p2x,p2y)(又名狄利克雷边界条件)。此外,玩具车在起点的速度是(v1x,v1y),终点处要
假设有 n 个 3 维对象(多面体)。最快的方法是计算所有对象的交集O(n^2)? 现在,我正在使用一个基本上强制 T(n) 等于 n ^ 2 的库: for each object: // ther
关闭。这个问题需要 details or clarity 。它目前不接受答案。 想改进这个问题吗? 添加细节并通过 editing this post 澄清问题。 关闭 5 年前。 Improve
在 c: 上,我有数以万计的 *.foobar 文件。它们在各种各样的地方(即子目录)。这些文件的大小大约为 1 - 64 kb,并且是纯文本。 我有一个 class Foobar(string fi
我的基本问题是有多个线程做一些事情,其中一些需要比其他线程更多的时间(20 倍甚至更多),他们需要的时间只取决于起始值,但不能从起始值预测单独他们需要多少时间。为了减少更快线程的空闲时间,我想通过
好的,我有一个疑问: select distinct(a) from mytable where b in (0,3) 什么会更快,上面的还是 select distinct(a) from myta
问题简介: 我正在开发一个生态生理模型,我使用了一个名为 S 的引用类列表。存储模型需要输入/输出的每个对象(例如气象、生理参数等)。 此列表包含 5 个对象(请参见下面的示例): - 两个数据帧,S
我有一个正在工作的问题陈述,但我仍然想知道更高效、更快,更重要的是正确设计来处理下面提到的场景。 我有一个 POJO 类 class A { String s; Double d; } 我正在
关闭。这个问题需要更多focused .它目前不接受答案。 想改进这个问题吗? 更新问题,使其只关注一个问题 editing this post . 关闭 3 年前。 Improve this q
关于 LLVM 如何优化代码,关于 SO 以及整个网络都有一些非常好的描述。但这些都无法回答我的具体问题。 在 Xcode 中,项目和目标设置中有各种代码优化选项。我理解在开发过程中不需要优化,但为什
我正在用 C# 开发一个服务器项目,在收到 TCP 消息后,它会被解析并存储在一个精确大小的 byte[] 中。 (不是固定长度的缓冲区,而是存储所有数据的绝对长度的字节[]。) 现在为了阅读这个 b
我是一名优秀的程序员,十分优秀!