python - Pandas DataFrame 字符串中包含的 HTML-6ren

python - Pandas DataFrame 字符串中包含的 HTML

转载作者：行者123 更新时间：2023-12-01 01:16:52

假设我有一个如下所示的字符串:

stuff = "<table><tr><td>Tuesday, January 15, 2019</td><td>2:44 PM EST</td><td>12</td><td>$530</td></tr><tr><td>Thursday, January 3, 2019</td><td>11:55 PM EST</td><td>11.5</td><td>$821</td></tr><tr><td>Friday, December 7, 2018</td><td>2:49 AM EST</td><td>11</td><td>$800</td></tr><tr><td>Wednesday, November 28, 2018</td><td>11:49 AM EST</td><td>9.5</td><td>$487</td></tr><tr><td>Monday, November 26, 2018</td><td>10:25 AM EST</td><td>11</td><td>$650</td></tr><tr><td>Thursday, November 22, 2018</td><td>5:52 PM EST</td><td>8.5</td><td>$792</td></tr><tr><td>Thursday, November 8, 2018</td><td>3:42 PM EST</td><td>11.5</td><td>$600</td></tr><tr><td>Saturday, September 29, 2018</td><td>9:40 PM EST</td><td>10</td><td>$470</td></tr><tr><td>Tuesday, September 4, 2018</td><td>4:11 PM EST</td><td>9.5</td><td>$649</td></tr><tr><td>Friday, July 13, 2018</td><td>2:07 PM EST</td><td>8</td><td>$650</td></tr><tr><td>Friday, July 6, 2018</td><td>1:21 PM EST</td><td>12</td><td>$495</td></tr><tr><td>Wednesday, June 13, 2018</td><td>5:14 PM EST</td><td>10</td><td>$450</td></tr><tr><td>Monday, June 4, 2018</td><td>4:24 PM EST</td><td>9.5</td><td>$476</td></tr><tr><td>Friday, April 13, 2018</td><td>9:16 AM EST</td><td>10.5</td><td>$650</td></tr><tr><td>Monday, March 5, 2018</td><td>7:23 AM EST</td><td>8.5</td><td>$560</td></tr><tr><td>Thursday, January 11, 2018</td><td>1:40 PM EST</td><td>12</td><td>$800</td></tr><tr><td>Saturday, January 6, 2018</td><td>3:13 PM EST</td><td>9</td><td>$600</td></tr><tr><td>Thursday, December 14, 2017</td><td>1:06 PM EST</td><td>7.5</td><td>$726</td></tr><tr><td>Thursday, November 9, 2017</td><td>6:10 PM EST</td><td>10.5</td><td>$601</td></tr><tr><td>Wednesday, September 20, 2017</td><td>9:40 AM EST</td><td>10.5</td><td>$850</td></tr><tr><td>Friday, July 6, 2018</td><td>1:21 PM EST</td><td>12</td><td>$495</td></tr><tr><td>Wednesday, June 13, 2018</td><td>5:14 PM EST</td><td>10</td><td>$450</td></tr><tr><td>Monday, June 4, 2018</td><td>4:24 PM EST</td><td>9.5</td><td>$476</td></tr><tr><td>Friday, April 13, 2018</td><td>9:16 AM EST</td><td>10.5</td><td>$650</td></tr><tr><td>Monday, March 5, 2018</td><td>7:23 AM EST</td><td>8.5</td><td>$560</td></tr><tr><td>Thursday, January 11, 2018</td><td>1:40 PM EST</td><td>12</td><td>$800</td></tr><tr><td>Saturday, January 6, 2018</td><td>3:13 PM EST</td><td>9</td><td>$600</td></tr><tr><td>Thursday, December 14, 2017</td><td>1:06 PM EST</td><td>7.5</td><td>$726</td></tr><tr><td>Thursday, November 9, 2017</td><td>6:10 PM EST</td><td>10.5</td><td>$601</td></tr><tr><td>Wednesday, September 20, 2017</td><td>9:40 AM EST</td><td>10.5</td><td>$850</td></tr><tr><td>Monday, July 24, 2017</td><td>12:22 PM EST</td><td>10.5</td><td>$600</td></tr><tr><td>Saturday, June 17, 2017</td><td>7:54 AM EST</td><td>11</td><td>$550</td></tr><tr><td>Saturday, June 10, 2017</td><td>7:32 PM EST</td><td>7.5</td><td>$750</td></tr><tr><td>Wednesday, May 24, 2017</td><td>3:10 PM EST</td><td>11</td><td>$741</td></tr><tr><td>Sunday, May 14, 2017</td><td>4:34 AM EST</td><td>10.5</td><td>$750</td></tr><tr><td>Monday, April 17, 2017</td><td>8:45 AM EST</td><td>10.5</td><td>$750</td></tr><tr><td>Saturday, April 1, 2017</td><td>9:44 PM EST</td><td>11</td><td>$750</td></tr><tr><td>Thursday, March 2, 2017</td><td>4:05 PM EST</td><td>11</td><td>$970</td></tr><tr><td>Thursday, February 23, 2017</td><td>3:03 PM EST</td><td>11.5</td><td>$675</td></tr><tr><td>Monday, January 23, 2017</td><td>3:29 PM EST</td><td>11</td><td>$726</td></tr><tr><td>Sunday, January 22, 2017</td><td>6:47 PM EST</td><td>11</td><td>$655</td></tr><tr><td>Friday, December 9, 2016</td><td>2:38 AM EST</td><td>10</td><td>$575</td></tr><tr><td>Thursday, December 8, 2016</td><td>5:23 PM EST</td><td>11.5</td><td>$1,200</td></tr><tr><td>Thursday, December 8, 2016</td><td>8:29 AM EST</td><td>12</td><td>$946</td></tr><tr><td>Saturday, November 26, 2016</td><td>3:09 PM EST</td><td>12</td><td>$1,031</td></tr><tr><td>Wednesday, November 23, 2016</td><td>3:45 PM EST</td><td>7.5</td><td>$650</td></tr><tr><td>Monday, November 21, 2016</td><td>7:23 AM EST</td><td>11</td><td>$1,031</td></tr><tr><td>Friday, November 18, 2016</td><td>5:12 PM EST</td><td>11</td><td>$1,031</td></tr><tr><td>Thursday, November 17, 2016</td><td>9:11 AM EST</td><td>11</td><td>$660</td></tr><tr><td>Tuesday, November 8, 2016</td><td>7:17 AM EST</td><td>6.5</td><td>$777</td></tr><tr><td>Saturday, September 24, 2016</td><td>5:57 PM EST</td><td>8</td><td>$815</td></tr><tr><td>Thursday, August 25, 2016</td><td>3:52 PM EST</td><td>6.5</td><td>$750</td></tr><tr><td>Saturday, August 20, 2016</td><td>2:20 PM EST</td><td>10.5</td><td>$721</td></tr><tr><td>Saturday, August 20, 2016</td><td>1:39 PM EST</td><td>8</td><td>$721</td></tr><tr><td>Thursday, July 21, 2016</td><td>1:21 PM EST</td><td>10.5</td><td>$650</td></tr><tr><td>Wednesday, July 20, 2016</td><td>6:14 AM EST</td><td>7.5</td><td>$777</td></tr><tr><td>Saturday, June 25, 2016</td><td>10:00 AM EST</td><td>9.5</td><td>$950</td></tr><tr><td>Thursday, June 23, 2016</td><td>5:26 PM EST</td><td>10.5</td><td>$580</td></tr><tr><td>Tuesday, June 21, 2016</td><td>1:19 PM EST</td><td>12.5</td><td>$600</td></tr><tr><td>Tuesday, May 31, 2016</td><td>10:06 AM EST</td><td>9.5</td><td>$828</td></tr></table>"

我如何在 Pandas 中使用类似 .read_html() 的东西来理解该字符串？

我通过使用 Selenium 来获得这个:

stuff = html_table.get_attribute('innerHTML')

我必须这样做，因为有一堆 JavaScript 阻止我访问东西。

最佳答案

使用read_html返回 DataFrame 列表，因此需要首先通过索引进行选择:

df = pd.read_html(stuff)[0]
print (df.head())
                              0             1     2     3
0     Tuesday, January 15, 2019   2:44 PM EST  12.0  $530
1     Thursday, January 3, 2019  11:55 PM EST  11.5  $821
2      Friday, December 7, 2018   2:49 AM EST  11.0  $800
3  Wednesday, November 28, 2018  11:49 AM EST   9.5  $487
4     Monday, November 26, 2018  10:25 AM EST  11.0  $650

然后，如果有必要，可以进行一些数据清理:

df.columns = ['date','time','val1','val2']

df['date'] = pd.to_datetime(df['date'] + '-' + df.pop('time').str[:-4], 
                            format='%A, %B %d, %Y-%I:%M %p')

df['val2'] = df['val2'].replace(['\$',','],'', regex=True).astype(int)
print (df.head())
                 date  val1  val2
0 2019-01-15 14:44:00  12.0   530
1 2019-01-03 23:55:00  11.5   821
2 2018-12-07 02:49:00  11.0   800
3 2018-11-28 11:49:00   9.5   487
4 2018-11-26 10:25:00  11.0   650

关于python - Pandas DataFrame 字符串中包含的 HTML，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/54264490/

文章推荐： Python下载脚本

文章推荐： python - 如何覆盖 Sklearn 的 TSNE 以在 Pipeline 函数中使用？

文章推荐： python - Pandas 中具有多个 IF 条件的 For 循环

文章推荐： python - cv2 imread 返回 None

c# - List 包含 List 包含 List
我有一个类似于以下的结构。 class A { string title; List bItem; } class B { int pric

webrtc - 为什么 localStreams 包含 LocalMediaStream 而 remoteStreams 包含 MediaStream？
本地流和远程流两者都是“媒体流列表 ”。本地流包含“本地媒体流 ” 对象但是，远程流包含“媒体流 ” 对象为什么差别这么大？当我使用“本地流 “- 这个对我有用: localVide

excel - 如果单元格 1 包含 X，则单元格 2 应等于 W，如果单元格 1 包含 Z，则查看下一个标准
我正在尝试将 8 列虚拟变量转换为 8 级排名的一列。我试图用这个公式来做到这一点: =IF(OR(A1="1");"1";IF(OR(B1="1");"2";IF(OR(C1="1");"3";I

python - 对象 A 包含对象 B1 和 B2，B1 包含 C，包含 D。让 D 更改 B2 中某些内容的最佳方式是什么？
我正在使用面向对象编程在 Python 中创建一个有点复杂的棋盘游戏的实现。我的问题是，许多这些对象应该能够与其他对象交互，即使它们不包含在其中。例如Game是一个对象，其中包含PointTrac

jQuery 包含
有没有办法获取与 contains 语句匹配的最深元素？基本上，如果我有嵌套的 div，我想要最后一个元素而不是父元素: Needle $("div:contains('Needle')")

SQL 包含 - 仅在开始时匹配
出于某种原因，我无法在 Google 上找到答案!但是使用 SQL contains 函数我怎么能告诉它从字符串的开头开始，即我正在寻找等同于的全文喜欢 'some_term%'。我知道我可以使用

包含 3 个或更多元音的正则表达式字符串
我正在尝试创建一个正则表达式来匹配具有 3 个或更多元音的字符串。我试过这个: [aeiou]{3,} 但它仅在元音按顺序排列时才有效。有什么建议吗？例如: 塞缪尔 -> 有效琼 -> 无效 S

Linq 包含 where 子句
嘿所以我遇到了这样的情况，我从数据库中拉回一个客户，并通过包含的方式包含所有案例研究 return (from c in db.Clients.Include("CaseStudies")

javascript - 包含()不为子字符串返回true
如果关键字是子字符串，我无法弄清楚为什么这个函数不返回结果。 const string = 'cake'; const substring = 'cak'; console.log(string.in

jQuery 如果 "this"包含
我正在尝试将包含特定文本字符串的任何元素更改为红色。在我的示例中，我可以将子元素变为蓝色，但是我编写“替换我”行的方式有些不正确；红色不会发生变化。我注意到“contains”方法通常写为 :cont

php - 包含，需要语法错误文件
我想问一下我是否可以要求/包含一个语法错误的文件，如果不能，则require/include返回一个值，这样我就知道所需/包含的文件存在语法错误并且不能被要求/包含？ file.php语法错误 inc

jquery - 使用jQuery将rel添加到youtube链接中:包含
我想为所有包含youtube链接的链接添加一个rel。这就是我正在使用的东西-但它没有用。有任何想法吗？ $('a [href:contains(“youtube.com”)]')。attr('re

elasticsearch - 包含/的elasticsearch查询字符串
我正在尝试在 Elasticsearch 中查询。除搜索中出现“/”外，此功能均正常运行。查询如下所示 GET styling_rules/product_line_filters/_search {

c# - 使用elasticsearch进行搜索(包含)
我正在开发名为eBookRepository的ASP.NET MVC应用程序，其中包含在线图书。电子书具有自己的标题，作者等。因此，现在我正在尝试实现搜索机制。我必须使用Elasticsearch作

Firebase 规则 : What is . 包含()？
我已阅读Firebase Documentation并且不明白什么是 .contains()。以下是文档中 Firebase 数据库的示例规则: { "rules": { "rooms"

cakephp 包含 - 条件
我的问题是我可以给出条件[ 'BookTitleMaster.id' => $xtitid, ] 如下所示 $bbookinfs = $this->BookStockin->BookIssue->fi

c# - 包含 "|"的正则表达式
我需要能够使用 | 检查模式在他们中。例如，对于像“dtest|test”这样的字符串，像 d*|*t 这样的表达式应该返回 true。我不是正则表达式英雄，所以我只是尝试了一些事情，例如: Reg

javascript - 包含 "not"的正则表达式不起作用
我想创建一个正则表达式来不匹配某些单词... 我的字符:var test = "é123rr;and;ià456;or;456543" 我的正则表达式:test.match(\((?!and)(?!o

XSLT:包含()多个字符串
我在 XSLT 中有一个名为 variable_name 的变量，如果相关产品具有名称为 A 或 B 或两者均为 A & 的属性，我将尝试将其设置为 1 B.

uml - 包含/扩展的用例可以由另一个参与者发起吗？
您好，我想让接待员和经理能够查看工作类型和费率并随后进行更新。但是技术人员只能查看不能更新。该图是否有效？我读到扩展用例是由发起基本用例的参与者发起的。我应该如何区分技术人员只能启动基本案例而不能启

行者123

个人简介
我是一名优秀的程序员,十分优秀！

作者热门文章

html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？

JMeter 在响应断言中使用 span 标签的问题

html - 在 :hover and :active? 上具有不同效果的 CSS 动画

html - 相对于居中的 html 内容固定的 CSS 重复背景？

滴滴打车优惠券免费领取

全站热门文章

让LLM来评判|基础概念

Pulsar客户端如何控制内存使用

G1原理—4.G1垃圾回收的过程之YoungGC

利用mybatis拦截器记录sql，辅助我们建立索引(一)

C#实现Winform程序在系统托盘显示图标&开机自启动

《痞子衡嵌入式半月刊》第116期

k8s列出所有未配置探针的deployment

unityassetbundle加载图集的所有sprite图片

终于决定：把自己家的能源管理系统开源了！

了解ASP.NETCore中的中间件

首页

博学

6Ren·AI

商城

python - Pandas DataFrame 字符串中包含的 HTML