python - 添加一个新的 cpython 关键字

Question

我目前正在使用 cpython 指南:https://realpython.com/products/cpython-internals-book/

我会详细说明我做了什么以及问题是什么。正如书上所说，我克隆了 github:

git clone directory https://github.com/python/cpython

然后我编译:

./configure --with-pydebug --enable-shared
make -j2 -s

然后，在讲语法的部分，我修改了python.gram文件，在small_stmt行我做了一个补充:

| ('pass' | 'proceed') { _Py_Pass(EXTRA) }

然后我尝试运行命令make regen-pegen。我的数据类模块出错，所以我决定从头开始。

全新安装后，我运行了命令make all。我不知道这是不是一个错误，但我不再有 python 3.9，而是 python 3.10。

这一次命令 make regen-pegen 有效，但是当我尝试使用它时，我得到一个 proceed is not defined 错误。

我尝试从 python.gram 中删除关键字 pass 以查看更改是否被考虑在内。

在尝试重新编译时，我遇到了一个pass is not defined错误，所以对文件所做的更改工作正常。

然后我检查了 new 关键字是否出现在生成的 C 文件中，是的，它就在其中。

    (KeywordToken[]) {{NULL, -1}},
    (KeywordToken[]) {{NULL, -1}},
    (KeywordToken[]) {
        {"if", 509},
        {"in", 517},
        {"ace", 519},
        {"is", 526},
        {"gold", 532},
        {NULL, -1},
    },
    (KeywordToken[]) {
        {"del", 502},
        {"try", 510},
        {"for", 516},
        {"def", 522},
        {"not", 525},
        {"and", 533},
        {NULL, -1},
    },
    (KeywordToken[]) {
        {"from", 513},
        {"elif", 514},
        {"else", 515},
        {"with", 518},
        {"True", 527},
        {"None", 529},
        {"pass", 530},
        {NULL, -1},
    },
    (KeywordToken[]) {
        {"raise", 501},
        {"yield", 503},
        {"break", 505},
        {"while", 511},
        {"class", 523},
        {"False", 528},
        {NULL, -1},
    },
    (KeywordToken[]) {
        {"return", 500},
        {"assert", 504},
        {"global", 507},
        {"import", 512},
        {"except", 520},
        {"lambda", 524},
        {NULL, -1},
    },
    (KeywordToken[]) {
        {"finally", 521},
        {"proceed", 531},
        {NULL, -1},
    },
    (KeywordToken[]) {
        {"continue", 506},
        {"non-local", 508},
        {NULL, -1},
    },
};

我不明白为什么不考虑更改。谢谢

Answer 1

我没有这本书，这是我第一次编辑 Python 的语法，但我让它起作用了。

---

1. 构建“常规”Python 3.10 并安装到某个临时目录，如 cpython/build/INSTALL:

   git clone https://github.com/python/cpython
   mkdir cpython/build && cd cpython/build
   mkdir INSTALL
   ../configure --prefix=/full/path/to/cpython/build/INSTALL
   make -j4 install
   

   我认为像 3.9 这样的早期版本可能可以工作(我在 3.6 上遇到了一个关于海象运算符的错误，在 3.8 上遇到了一些其他错误，所以这些对于构建 3.10 来说似乎“太旧”了) ，但 Python 构建速度很快，所以为什么不这样做，以防万一。

2. 修改python.gram:

   small_stmt[stmt_ty] (memo):
       | assignment
       ...
       | ('pass' | 'proceed') { _Py_Pass(EXTRA) }  # HERE
       | &'del' del_stmt
       ...
   

3. 使用新建的 Python 重新生成解析器:

   $ make PYTHON_FOR_REGEN=INSTALL/bin/python3 regen-pegen
   PYTHONPATH=../Tools/peg_generator INSTALL/bin/python3 -m pegen -q c \
           ../Grammar/python.gram \
           ../Grammar/Tokens \
           -o ../Parser/parser.new.c
   python3 ../Tools/scripts/update_file.py ../Parser/parser.c ../Parser/parser.new.c
   $
   

4. 清理(可能还想重新配置以安装到不同的路径)并重建:

   make clean
   rm -rf INSTALL/*
   make -j4 install
   

   这将安装到 build/INSTALL，如前所述。

现在，有趣的部分。你得到这个错误:

# huge huge huge traceback...
File "/var/folders/qv/bsx06c394yzb1dlrtcj_9gkc0000gn/T/tmpzt58rw8n/pip-20.2.3-py2.py3-none-any.whl/pip/_vendor/distlib/util.py", line 318
    def proceed(prompt, allowed_chars, error_prompt=None, default=None):
        ^
SyntaxError: invalid syntax

如您所见，new 关键字就在那里，现在您不能有一个名为proceed 的函数，所以有些事情会中断。在这种情况下，pip 损坏了，所以这个修改后的 Python 版本不会有 pip，但您也可以去编辑这个特定文件，看看是否有其他损坏，编辑那个等等。

但谁在乎 - Python 本身已成功构建:

$ INSTALL/bin/python3 
Python 3.10.0a2+ (heads/master-dirty:f3cb814315, Nov  5 2020, xx:xx:xx) 
[Clang 11.0.0 (clang-1100.0.33.16)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> proceed # works!
>>> pass
>>>