python - 如何在Python中打破pandas数据框，其中行包含

Question

我有一个 pandas 数据框文件。我正在尝试分解包含 </s> </s> 的数据框列.

column A                            column B  
(('<s>', '<s>'),  'abc')            0.043025210084033615
(('<s>', 'abc'),  'abc')            0.65234375
(('abc', 'abc'),  'abc')            0.04259501965923984
(('abc', 'abc'),  'abc')            0.18604651162790697
(('abc', 'abc'),  '</s>')           0.41317365269461076
(('abc', '</s>'), '</s>')           0.011148272017837236
(('<s>', '<s>'),  'def')            0.09090909090909091
(('def', 'def'),  'def')            0.008287292817679558
(('def', 'def'),  'def')            0.13506493506493505
(('def', 'def'),  '</s>')           0.007653061224489796
(('def', '</s>'), '</s>')           0.08333333333333333
(('<s>', '<s>'),  'ghi')            0.5
(('ghi', 'ghi'),  'ghi')            0.125
(('ghi', 'ghi'),  'ghi')            0.033766233766233764
(('ghi', 'ghi'),  '</s>')           0.0694980694980695
(('ghi','</s>'),  '</s>')           0.16666666666666666

我需要通过以下方式获得输出。如何在 python 或 Regex 中实现这一点？我是 Python 新手。

column A                            column B  
(('<s>', '<s>'),  'abc')            0.043025210084033615
(('<s>', 'abc'),  'abc')            0.65234375
(('abc', 'abc'),  'abc')            0.04259501965923984
(('abc', 'abc'),  'abc')            0.18604651162790697
(('abc', 'abc'),  '</s>')           0.41317365269461076
(('abc', '</s>'), '</s>')           0.011148272017837236

column A                            column B   
(('<s>', '<s>'),  'def')            0.09090909090909091
(('def', 'def'),  'def')            0.008287292817679558
(('def', 'def'),  'def')            0.13506493506493505
(('def', 'def'),  '</s>')           0.007653061224489796
(('def', '</s>'), '</s>')           0.08333333333333333

column A                            column B  
(('<s>', '<s>'),  'ghi')            0.5
(('ghi', 'ghi'),  'ghi')            0.125
(('ghi', 'ghi'),  'ghi')            0.033766233766233764
(('ghi', 'ghi'),  '</s>')           0.0694980694980695
(('ghi','</s>'),  '</s>')           0.16666666666666666

Answer 1

可能的示例:

代码:

$ more replace.py 
import re

input = """column A                            column B  
(('<s>', '<s>'),  'abc')            0.043025210084033615
(('<s>', 'abc'),  'abc')            0.65234375
(('abc', 'abc'),  'abc')            0.04259501965923984
(('abc', 'abc'),  'abc')            0.18604651162790697
(('abc', 'abc'),  '</s>')           0.41317365269461076
(('abc', '</s>'), '</s>')           0.011148272017837236
(('<s>', '<s>'),  'def')            0.09090909090909091
(('def', 'def'),  'def')            0.008287292817679558
(('def', 'def'),  'def')            0.13506493506493505
(('def', 'def'),  '</s>')           0.007653061224489796
(('def', '</s>'), '</s>')           0.08333333333333333
(('<s>', '<s>'),  'ghi')            0.5
(('ghi', 'ghi'),  'ghi')            0.125
(('ghi', 'ghi'),  'ghi')            0.033766233766233764
(('ghi', 'ghi'),  '</s>')           0.0694980694980695
(('ghi','</s>'),  '</s>')           0.16666666666666666"""

print re.sub(r"(\(\('[^']*', '</s>'\), '</s>'\)\s+[0-9\.]+\s+)","\1\ncolumn A                            column B\n", input)

输出:

$ python replace.py 
column A                            column B  
(('<s>', '<s>'),  'abc')            0.043025210084033615
(('<s>', 'abc'),  'abc')            0.65234375
(('abc', 'abc'),  'abc')            0.04259501965923984
(('abc', 'abc'),  'abc')            0.18604651162790697
(('abc', 'abc'),  '</s>')           0.41317365269461076

column A                            column B
(('<s>', '<s>'),  'def')            0.09090909090909091
(('def', 'def'),  'def')            0.008287292817679558
(('def', 'def'),  'def')            0.13506493506493505
(('def', 'def'),  '</s>')           0.007653061224489796

column A                            column B
(('<s>', '<s>'),  'ghi')            0.5
(('ghi', 'ghi'),  'ghi')            0.125
(('ghi', 'ghi'),  'ghi')            0.033766233766233764
(('ghi', 'ghi'),  '</s>')           0.0694980694980695
(('ghi','</s>'),  '</s>')           0.16666666666666666

说明:

• demo of regex
• 有关正则表达式的信息:http://www.rexegg.com/regex-quickstart.html
• 代码说明:将与正则表达式匹配的每一行替换为该行所包含的内容(使用反向引用)，并附加一个包含 2 列标题的新行(检查 https://docs.python.org/2/library/re.html )