python - 同时解析 python 中的多个子命令或以其他方式对解析的参数进行分组

Question

我正在将 Bash shell 安装程序实用程序转换为 Python 2.7，并且需要实现复杂的 CLI，以便我能够解析数十个参数(可能多达 ~150 个)。这些是 Puppet 类变量的名称，此外还有十几个通用部署选项，这些选项在 shell 版本中可用。

然而，在我开始添加更多变量后，我面临着几个挑战:1. 我需要将参数分组到单独的字典中，以便将部署选项与 Puppet 变量分开。如果它们被扔到同一个桶中，那么我将不得不编写一些逻辑来对它们进行排序，可能会重命名参数，然后字典合并将不是微不足道的。2. 可能存在同名但属于不同 Puppet 类的变量，所以我认为子命令可以让我过滤什么去哪里并避免名称冲突。

目前我已经通过简单地添加多个解析器实现了参数解析:

parser = argparse.ArgumentParser(description='deployment parameters.')
env_select = parser.add_argument_group(None, 'Environment selection')
env_select.add_argument('-c', '--client_id',  help='Client name to use.')
env_select.add_argument('-e', '--environment', help='Environment name to use.')
setup_type = parser.add_argument_group(None, 'What kind of setup should be done:')
setup_type.add_argument('-i', '--install', choices=ANSWERS, metavar='', action=StoreBool, help='Yy/Nn Do normal install and configuration')
# MORE setup options
...
args, unk = parser.parse_known_args()
config['deploy_cfg'].update(args.__dict__)

pup_class1_parser = argparse.ArgumentParser(description=None)
pup_class1 = pup_class1_parser.add_argument_group(None, 'Puppet variables')
pup_class1.add_argument('--ad_domain', help='AD/LDAP domain name.')
pup_class1.add_argument('--ad_host', help='AD/LDAP server name.')
# Rest of the parameters

args, unk = pup_class1_parser.parse_known_args()
config['pup_class1'] = dict({})
config['pup_class1'].update(args.__dict__)
# Same for class2, class3 and so on.

此方法无法解决问题 2 的问题。此外，第一个解析器使用“-h”选项，其余参数未在帮助中显示。

我试过使用example selected as an answer但我无法同时使用这两个命令。

## This function takes the 'extra' attribute from global namespace and re-parses it to create separate namespaces for all other chained commands.
def parse_extra (parser, namespace):
  namespaces = []
  extra = namespace.extra
  while extra:
    n = parser.parse_args(extra)
    extra = n.extra
    namespaces.append(n)

  return namespaces

pp = pprint.PrettyPrinter(indent=4)

argparser=argparse.ArgumentParser()
subparsers = argparser.add_subparsers(help='sub-command help', dest='subparser_name')

parser_a = subparsers.add_parser('command_a', help = "command_a help")
## Setup options for parser_a
parser_a.add_argument('--opt_a1', help='option a1')
parser_a.add_argument('--opt_a2', help='option a2')

parser_b = subparsers.add_parser('command_b', help = "command_b help")
## Setup options for parser_a
parser_b.add_argument('--opt_b1', help='option b1')
parser_b.add_argument('--opt_b2', help='option b2')


## Add nargs="*" for zero or more other commands
argparser.add_argument('extra', nargs = "*", help = 'Other commands')

namespace = argparser.parse_args()
pp.pprint(namespace)
extra_namespaces = parse_extra( argparser, namespace )
pp.pprint(extra_namespaces)

结果我:

$ python argtest.py command_b --opt_b1 b1 --opt_b2 b2 command_a --opt_a1 a1
usage: argtest.py [-h] {command_a,command_b} ... [extra [extra ...]]
argtest.py: error: unrecognized arguments: command_a --opt_a1 a1

当我尝试用两个子解析器定义父级时，结果相同。

问题

1. 我能否以某种方式使用 parser.add_argument_group 进行参数解析，还是仅用于帮助打印输出中的分组？它将解决问题 1 而不会丢失帮助副作用。将其作为 parse_known_args(namespace=argument_group) 传递(如果我没记错的话)会获取所有变量(没关系)，但也会在结果字典中获取所有 Python 对象内容(这对 hieradata YAML 不利)
2. 我在第二个示例中缺少什么以允许使用多个子命令？或者使用 argparse 是不可能的？
3. 关于对命令行变量进行分组的任何其他建议？我看过 Click，但没有发现比标准 argparse 对于我的任务有任何优势。

注意:我是系统管理员，不是程序员，所以请对我的非对象风格编码轻描淡写。 :)

谢谢

已解决通过 hpaulj 建议的答案解决参数分组.

import argparse
import pprint
parser = argparse.ArgumentParser()

group_list = ['group1', 'group2']

group1 = parser.add_argument_group('group1')
group1.add_argument('--test11', help="test11")
group1.add_argument('--test12', help="test12")

group2 = parser.add_argument_group('group2')
group2.add_argument('--test21', help="test21")
group2.add_argument('--test22', help="test22")

args = parser.parse_args()
pp = pprint.PrettyPrinter(indent=4)

d = dict({})

for group in parser._action_groups:
    if group.title in group_list:
        d[group.title]={a.dest:getattr(args,a.dest,None) for a in group._group_actions}

print "Parsed arguments"
pp.pprint(d)

这让我得到了第 1 期的预期结果。直到我将有多个同名参数。解决方案可能看起来很丑陋，但至少它按预期工作。

python argtest4.py --test22 aa  --test11 yy11 --test21 aaa21
Parsed arguments
{   'group1': {   'test11': 'yy11', 'test12': None},
    'group2': {   'test21': 'aaa21', 'test22': 'aa'}}

Answer 1

您的问题过于复杂，无法一次理解和回答。但我会抛出一些初步的想法。

是的，argument_groups 只是帮助中参数分组的一种方式。它们对解析没有影响。

另一个最近的 SO 询问了关于解析参数组的问题:

Is it possible to only parse one argument group's parameters with argparse?

该发帖人最初想使用组作为解析器，但 argparse 类结构不允许这样做。 argparse 以对象样式编写。 parser=ArguementParser... 创建一类对象，parser.add_arguement... 创建另一类，add_argument_group... 又一类。您可以通过子类化 ArgumentParser 或 HelpFormatter 或 Action 类等来自定义它。

我提到了一个parents 机制。您定义一个或多个父解析器，并使用它们来填充您的“主”解析器。它们可以独立运行(使用 parse_known_args)，而“main”用于处理帮助。

我们还讨论了在解析后对参数进行分组。 namespace 是一个简单的对象，其中每个参数都是一个属性。它还可以转换为字典。从字典中提取项目组很容易。

关于使用多个子解析器有很多问题。这是一个尴尬的提议。可能，但并不容易。子解析器就像向系统程序发出命令。您通常每次调用发出一个命令。您不嵌套它们或发出序列。您让 shell 管道和脚本处理多个操作。

IPython 使用 argparse 来解析它的输入。它首先捕获帮助，然后发出自己的消息。大多数参数来自配置文件，因此可以使用默认配置、自定义配置和命令行设置值。这是命名大量参数的示例。

子解析器允许您使用相同的参数名称，但不能在一次调用中调用多个子解析器，这没有多大帮助。即使您可以调用多个子解析器，它们仍会将参数放在同一个 namespace 中。此外，argparse 尝试以独立于顺序的方式处理标记的参数。因此，命令行末尾的 --foo 会像在开始时一样被解析。

在我们讨论使用参数名称('dest')如 'group1.argument1' 时，我什至讨论了使用嵌套命名空间的问题。如果有帮助，我可以查一下。

---

另一个想法 - 加载 sys.argv 并在将其传递给一个或多个解析器之前对其进行分区。您可以将其拆分为某个关键字或前缀等。