- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
import pandas as pd
dict = {'Origin Region': [1.0, 2.0, 3.0, 4.0, 5.0, 1.0, 2.0, 5.0],
'Origin Latitude': [-36.45875, -36.24879, -36.789456, -38.14789, -36.15963, -36.159455, -36.2345, -36.12745],
'Origin Longitude': [145.14563, 145.15987, 145.87456, 146.75314, 145.75483, 145.78458, 145.123654, 145.11111]}
df = pd.DataFrame(dict)
centres_dict = {'Origin Region': [1.0, 2.0, 3.0, 4.0, 5.0],
'Origin Latitude': [-36.25361, -36.78541, -36.74859, -38.74123, -36.14538],
'Origin Longitude': [145.12345, 145.36241, 145.12365, 146.75314, 145.75483]}
centres_df = pd.DataFrame(centres_dict)
grouped_region = df.groupby('Origin Region')
for region, region_group in grouped_region:
outliers = region_group[['Origin Latitude', 'Origin Longitude']].where((region_group['Origin Latitude'] < -36.15))
outliers.dropna(inplace=True)
print(outliers)
if(~outliers.empty):
for index, outlier_value in outliers.iterrows():
for another_index, centre_value in centres_df.iterrows():
a = outlier_value['Origin Longitude']
b = outlier_value['Origin Latitude']
c = centres_df['Origin Longitude']
d = centres_df['Origin Latitude']
#find distance using the above and then find minimum distance
我正在尝试遍历数据帧 (df) 的每一组,然后根据某些条件过滤每组中的值,并在每个过滤后的值(离群值)与另一个数据帧中的所有值之间执行距离计算(中心_df)。
我有数据帧中的数据,我应该将它们转换成数组然后使用 scipy cdist 来计算距离吗?或者简单地使用循环并使用我自己的距离计算功能?我不确定执行此操作的最佳方法是什么。或者可以使用 apply 并调用我自己的距离函数?
最佳答案
不需要嵌套循环。只需通过循环将分组的离群值 join
到组内的centres 数据框。然后计算跨列的距离。然后最后,将数据框对象字典中的所有异常值框绑定(bind)在一起。
但是,要使用内置的 math
库对您的过程进行矢量化,这个 Python Haversine Formula 必须经过 numpy 化。
Numpy 版本的 haversine 公式(接收数组/系列而不是标量作为输入)
def haversine_np(lon1, lat1, lon2, lat2):
"""
Calculate the great circle distance between two points
on the earth (specified in decimal degrees)
"""
# convert decimal degrees to radians
lon1, lat1, lon2, lat2 = map(np.radians, [lon1, lat1, lon2, lat2])
# haversine formula
dlon = lon2 - lon1
dlat = lat2 - lat1
a = np.sin(dlat/2)**2 + np.cos(lat1) * np.cos(lat2) * np.sin(dlon/2)**2
c = 2 * np.arcsin(np.sqrt(a))
r = 6371 # Radius of earth in kilometers. Use 3956 for miles
return c * r
Pandas 过程
# SET ORIGIN REGION AS INDEX (FOR LATER JOIN)
centres_df = centres_df.set_index('Origin Region')
df_dict = {}
grouped_region = df.sort_values('Origin Region').groupby('Origin Region')
for region, region_group in grouped_region:
# BUILD OUTLIER DF WITH Origin_Region as INDEX
outliers = region_group[['Origin Latitude', 'Origin Longitude']]\
.where((region_group['Origin Latitude'] < -36.15))\
.dropna()\
.assign(Origin_Region = region)\
.set_index('Origin_Region')
# JOIN OUTLIERS WITH CENTRES DF, KEEPING ONLY MATCHED ROWS
outliers = outliers.join(centres_df, how='inner', lsuffix='', rsuffix='_')
# RUN CALCULATION (SEE NUMPY-IFIED haversine())
outliers['Distance_km'] = haversine_np(outliers['Origin Longitude'], outliers['Origin Latitude'],
outliers['Origin Longitude_'], outliers['Origin Latitude_'])
outliers['Origin Region'] = region
# ASSIGN TO DICTIONARY, RE-ORDERING COLUMNS
df_dict[region] = outliers.reindex(outliers.columns[[5,0,1,2,3,4]], axis='columns')
# CONCATENATE OUTSIDE LOOP FOR SINGLE OBJECT
final_df = pd.concat(df_dict, ignore_index=True)
输出
print(final_df)
# Origin Region Origin Latitude Origin Longitude Origin Latitude_ Origin Longitude_ Distance_km
# 0 1.0 -36.458750 145.145630 -36.25361 145.12345 22.896839
# 1 1.0 -36.159455 145.784580 -36.25361 145.12345 60.234887
# 2 2.0 -36.248790 145.159870 -36.78541 145.36241 62.354177
# 3 2.0 -36.234500 145.123654 -36.78541 145.36241 64.868402
# 4 3.0 -36.789456 145.874560 -36.74859 145.12365 67.040011
# 5 4.0 -38.147890 146.753140 -38.74123 146.75314 65.976398
# 6 5.0 -36.159630 145.754830 -36.14538 145.75483 1.584528
关于python - 循环遍历 2 个 Pandas Dataframes 并将行值传递给计算距离的函数,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52615950/
我的问题:非常具体。我正在尝试想出解析以下文本的最简单方法: ^^domain=domain_value^^version=version_value^^account_type=account_ty
好吧,这就是我的困境: 我正在为 Reddit 子版 block 开发常见问题解答机器人。我在 bool 逻辑方面遇到了麻烦,需要一双更有经验的眼睛(这是我在 Python 中的第一次冒险)。现在,该
它首先遍历所有 y 值,然后遍历所有 x 值。我需要 X 和 y 同时改变。 For x = 3 To lr + 1 For y = 2 To lr anyl.Cells(x, 1)
假设我有一个包含 2 列的 Excel 表格:单元格 A1 到 A10 中的日期和 B1 到 B10 中的值。 我想对五月日期的所有值求和。我有3种可能性: {=SUM((MONTH(A1:A10)=
如何转换 Z-score来自 Z-distribution (standard normal distribution, Gaussian distribution)到 p-value ?我还没有找到
我正在重写一些 Javascript 代码以在 Excel VBA 中工作。由于在这个网站上搜索,我已经设法翻译了几乎所有的 Javascript 代码!但是,有些代码我无法准确理解它在做什么。这是一
我遇到过包含日期格式的时间戳日期的情况。然后我想构建一个图表,显示“点击”项目的数量“每天”, //array declaration $array1 = array("Date" => 0); $a
我是scala的新手! 我的问题是,是否有包含成员的案例类 myItem:Option[String] 当我构造类时,我需要将字符串内容包装在: Option("some string") 要么 So
我正在用 PHP 创建一个登录系统。我需要用户使用他或她的用户名或电子邮件或电话号码登录然后使用密码。因为我知道在 Java 中我们会像 email==user^ username == user 这
我在 C++ 项目上使用 sqlite,但是当我在具有文本值的列上使用 WHERE 时出现问题 我创建了一个 sqlite 数据库: CREATE TABLE User( id INTEGER
当构造函数是显式时,它不用于隐式转换。在给定的代码片段中,构造函数被标记为 explicit。那为什么在 foo obj1(10.25); 情况下它可以工作,而在 foo obj2=10.25; 情况
我知道这是一个主观问题,所以如果需要关闭它,我深表歉意,但我觉得它经常出现,让我想知道是否普遍偏爱一种形式而不是另一种形式。 显然,最好的答案是“重构代码,这样你就不需要测试是否存在错误”,但有时没有
这两个 jQuery 选择器有什么区别? 以下是来自 w3schools.com 的定义: [attribute~=value] 选择器选择带有特定属性,其值包含特定字符串。 [attribute*=
为什么我们需要CSS [attribute|=value] Selector根本当 CSS3 [attribute*=value] Selector基本上完成相同的事情,浏览器兼容性几乎相似?是否存在
我正在解决 regx 问题。我已经有一个像这样的 regx [0-9]*([.][0-9]{2})。这是 amont 格式验证。现在,通过此验证,我想包括不应提供 0 金额。比如 10 是有效的,但
我正在研究计算机科学 A 考试的样题,但无法弄清楚为什么以下问题的正确答案是正确的。 考虑以下方法。 public static void mystery(List nums) { for (
好的,我正在编写一个 Perl 程序,它有一个我收集的值的哈希值(完全在一个完全独立的程序中)并提供给这个 Perl 脚本。这个散列是 (string,string) 的散列。 我想通过 3 种方式对
我有一个表数据如下,来自不同的表。仅当第三列具有值“债务”并且第一列(日期)具有最大值时,我才想从第四列中获取最大值。最终值基于 MAX(DATE) 而不是 MAX(PRICE)。所以用简单的语言来说
我有一个奇怪的情况,只有错误状态保存到数据库中。当“状态”应该为 true 时,我的查询仍然执行 false。 我有具有此功能的 Controller public function change_a
我有一个交易表(针对所需列进行了简化): id client_id value 1 1 200 2 2 150 3 1
我是一名优秀的程序员,十分优秀!