python - 从 Webscrape 中过滤和格式化数据帧

Question

我是 Python 新手，但对 R 很了解。我正在尝试从雅虎网络抓取股票价格数据。我成功检索了价格数据并能够创建数据框。然而，雅虎包括了何时支付股息。目前，我想忽略股息，但我在过滤数据框以在支付股息时删除时遇到问题。另外，我想更改 Date 的格式列，例如来自 Mar 14, 2000至%Y-%m-%d .

来自网络抓取:

Date           Open            Close
Dec 23, 2019   0.611 Dividend  None
Dec 01, 2019   88.38           88.90

首先，我尝试对 'None' 进行过滤，但这是一个空数据框: df.loc[df.Close=='None']

其次我尝试替换 Dividend Open的方面列的功能类似于 R 中的 gsub，但可能做得不正确。我的想法是我可以删除该单元格中的值并替换为新值 toRemove ，然后过滤这个新值:

re.sub('Dividend','Remove',df.Open,flags=re.I)

在 R 中，我知道您可以使用 str(df)获取数据帧的结构，Python 使用 df.dtypes ，但这返回 object对我来说，我不知道如何解决日期问题。

用于网页抓取的代码:

import pandas as pd
import bs4 as bs
import urllib.request

url = 'https://finance.yahoo.com/quote/VT/history?period1=1547078400&period2=1607558400&interval=1mo&filter=history&frequency=1mo'

source = urllib.request.urlopen(url).read()      
soup =bs.BeautifulSoup(source,'lxml')
tr = soup.find_all('tr')

data = []

# formats price data
for table in tr:
    td = table.find_all('td')
    row = [i.text for i in td]
    data.append(row)        

# labels columns
columns = ['Date', 'Open', 'High', 'Low', 'Close', 'AdjClose', 'Volume']

data = data[1:-2]
df = pd.DataFrame(data)
df.columns = columns

Answer 1

This answer应该回答你的约会问题。至于过滤，您可能应该学习使用 df.loc[]功能。 Kaggle有学习 Pandas 数据帧操作的优秀资源。当然，我不使用 loc在此解决方案中。

无论如何，使用 apply和 lambda functions ，我们可以快速迭代每一行并对您的 Open 进行更改栏目如下。

df['Open'] = df.apply(lambda row: float(row['Open'].split()[0]), axis=1)

我在你的数据框上测试了这个，它有效。在这种情况下，df.apply()与 axis=1将对每一行应用某种函数。在这里，我们选择使用 lambda 函数。值得注意的是，您可以在这里将“行”命名为任何您想要的名称，但基本上它会接受名为 row 的行，然后您可以对其应用任何您想要的操作。

我选择拉Open每行的列值 row['Open'] ，然后使用 .split() 将该字符串拆分为空格，然后您可以使用 [0] 进行索引来获取第一个字符串(我们知道是数字)。 。最后，我将其包裹在 float() 中强制转换以确保它是 float 而不是字符串。

学习使用apply()和 lambda 函数一起在 pandas 中非常有值(value)。另外，kaggle 网站至少值得查看 pandas 教程。