python - Pyparsing:将半JSON嵌套明文数据解析为列表

Question

我有一堆嵌套数据，其格式与 JSON 大致相似:

company="My Company"
phone="555-5555"
people=
{
    person=
    {
        name="Bob"
        location="Seattle"
        settings=
        {
            size=1
            color="red"
        }
    }
    person=
    {
        name="Joe"
        location="Seattle"
        settings=
        {
            size=2
            color="blue"
        }
    }
}
places=
{
    ...
}

有许多具有不同深度级别的不同参数——这只是一个非常小的子集。

还可能值得注意的是，当创建一个新的子数组时，总是有一个等号，后跟一个换行符，然后是左括号(如上所示)。

是否有任何简单的循环或递归技术可以将此数据转换为系统友好的数据格式，例如数组或 JSON？我想避免对属性名称进行硬编码。我正在寻找可以在 Python、Java 或 PHP 中运行的东西。伪代码也可以。

感谢任何帮助。

编辑:我发现了 Python 的 Pyparsing 库，看起来它可能会有很大帮助。我找不到有关如何使用 Pyparsing 解析未知深度的嵌套结构的任何示例。谁能根据我上面描述的数据阐明 Pyparsing？

编辑 2:好的，这是 Pyparsing 中的一个有效解决方案:

def parse_file(fileName):

#get the input text file
file = open(fileName, "r")
inputText = file.read()

#define the elements of our data pattern
name = Word(alphas, alphanums+"_")
EQ,LBRACE,RBRACE = map(Suppress, "={}")
value = Forward() #this tells pyparsing that values can be recursive
entry = Group(name + EQ + value) #this is the basic name-value pair


#define data types that might be in the values
real = Regex(r"[+-]?\d+\.\d*").setParseAction(lambda x: float(x[0]))
integer = Regex(r"[+-]?\d+").setParseAction(lambda x: int(x[0]))
quotedString.setParseAction(removeQuotes)

#declare the overall structure of a nested data element
struct = Dict(LBRACE + ZeroOrMore(entry) + RBRACE) #we will turn the output into a Dictionary

#declare the types that might be contained in our data value - string, real, int, or the struct we declared
value << (quotedString | struct | real | integer)

#parse our input text and return it as a Dictionary
result = Dict(OneOrMore(entry)).parseString(inputText)
return result.dump()

这行得通，但是当我尝试使用 json.dump(result) 将结果写入文件时，文件的内容用双引号引起来。此外，许多数据对之间存在 \n 字符。我尝试在上面的代码中使用 LineEnd().suppress() 抑制它们，但我一定没有正确使用它。

Answer 1

可以使用 pyparsing 解析任意嵌套结构，方法是使用 Forward 类定义一个占位符来保存嵌套部分。在这种情况下，您只是解析简单的名称-值对，其中值本身可以是包含名称-值对的嵌套结构。

name :: word of alphanumeric characters
entry :: name '=' value
struct :: '{' entry* '}'
value :: real | integer | quotedstring | struct

这几乎是逐字翻译成 pyparsing。要定义可以递归包含值的值，我们首先创建一个 Forward() 占位符，它可以用作条目定义的一部分。然后，一旦我们定义了所有可能的值类型，我们就使用“<<”运算符将此定义插入到值表达式中:

EQ,LBRACE,RBRACE = map(Suppress,"={}")

name = Word(alphas, alphanums+"_")
value = Forward()
entry = Group(name + EQ + value)

real = Regex(r"[+-]?\d+\.\d*").setParseAction(lambda x: float(x[0]))
integer = Regex(r"[+-]?\d+").setParseAction(lambda x: int(x[0]))
quotedString.setParseAction(removeQuotes)

struct = Group(LBRACE + ZeroOrMore(entry) + RBRACE)
value << (quotedString | struct | real | integer)

real 和 integer 的解析操作会在解析时将这些元素从字符串转换为 float 或 ints，以便这些值在解析后可以立即用作它们的实际类型(不需要后处理来做 string-to -其他类型转换)。

您的样本是一个或多个条目的集合，因此我们使用它来解析总输入:

result = OneOrMore(entry).parseString(sample)

我们可以以嵌套列表的形式访问解析后的数据，但显示起来不太美观。此代码使用 pprint 漂亮地打印格式化的嵌套列表:

from pprint import pprint
pprint(result.asList())

给予:

[['company', 'My Company'],
 ['phone', '555-5555'],
 ['people',
  [['person',
    [['name', 'Bob'],
     ['location', 'Seattle'],
     ['settings', [['size', 1], ['color', 'red']]]]],
   ['person',
    [['name', 'Joe'],
     ['location', 'Seattle'],
     ['settings', [['size', 2], ['color', 'blue']]]]]]]]

请注意，所有字符串都是没有引号的字符串，并且整数是实际整数。

我们可以做得比这更好一点，认识到条目格式实际上定义了一个适合像 Python 字典一样访问的名称-值对。我们的解析器只需做一些小的改动就可以做到这一点:

将结构定义更改为:

struct = Dict(LBRACE + ZeroOrMore(entry) + RBRACE)

和整个解析器:

result = Dict(OneOrMore(entry)).parseString(sample)

Dict 类将解析后的内容视为一个名称后跟一个值，这可以递归地完成。通过这些更改，我们现在可以像访问字典中的元素一样访问结果中的数据:

print result['phone']

或类似对象中的属性:

print result.company

使用 dump() 方法查看结构或子结构的内容:

for person in result.people:
    print person.dump()
    print

打印:

['person', ['name', 'Bob'], ['location', 'Seattle'], ['settings', ['size', 1], ['color', 'red']]]
- location: Seattle
- name: Bob
- settings: [['size', 1], ['color', 'red']]
  - color: red
  - size: 1

['person', ['name', 'Joe'], ['location', 'Seattle'], ['settings', ['size', 2], ['color', 'blue']]]
- location: Seattle
- name: Joe
- settings: [['size', 2], ['color', 'blue']]
  - color: blue
  - size: 2