python - 嵌入式 Python 应用程序中 Py_Finalize 期间的 fatal error

Question

感谢您对此提供的帮助——这个问题的变体已被问过很多次，但我还没有找到完整的答案。我正在将嵌入式 Python 3.4.2 添加到使用 MS MFC 类以 C++ 编写的现有模拟器工具中。该应用程序是多线程的，因此用户可以执行 Python 脚本并与模拟器系统交互。

如何成功退出？我是否以正确的顺序使用 GIL 和线程状态命令？我是否过早地结束了 Python 解释器线程并破坏了 Python 线程合并机制？

我的问题是，当我调用 Py_Finalize 时，它​​会调用 wait_for_thread_shutdown，然后调用 PyThreadState_Get，并遇到 fatal error “PyThreadState_Get:没有当前线程”。从检测到 fatal error 的点来看，它似乎与多线程嵌入式 Python 应用程序末尾的线程合并有关。

我已经压缩了我的代码以澄清它并消除任何看起来不相关的东西。如果我走得太远或不够远，我深表歉意。主线程初始化并完成 Python。

BOOL CSimApp::InitInstance()
{
    ...
    // Initialize command table for appl. object and for documents
    int iReturn = PyImport_AppendInittab("sim", &PyInit_SimApp);
    iReturn = PyImport_AppendInittab("sim_doc", &PyInit_SimDoc);

    // Initialize Python and prepar to create threads
    _pHInstance = new CPyInstance();
    ...
}

int CSimApp::ExitInstance() 
{
    ...
    if (_pHInstance) {
        delete _pHInstance;
        _pHInstance = NULL;
    }
    ...
}

我正在使用实用程序类来创建 Python 实例 (CPyInstance) 和管理 Python GIL (ACQUIRE_PY_GIL)。初始化应用程序时，还会创建一个 CPyInstance 实例。类 CPyInstance 初始化和完成 Python 线程管理。 Python 全局锁管理是通过 ACQUIRE_PY_GIL 和 RELEASE_PY_GIL 结构完成的。

class CPyInstance
{
public:
    CPyInstance();
    ~CPyInstance();
    static PyThreadState * mainThreadState;
};

inline CPyInstance::CPyInstance()
{
    mainThreadState = NULL;
    Py_Initialize();
    PyEval_InitThreads();
    mainThreadState = PyThreadState_Get();
    PyEval_ReleaseLock();
}

inline CPyInstance::~CPyInstance()
{
    Py_Finalize();
}

static CPyInstance    *_pHInstance = NULL;

int PyExit()
{
    if (_pHInstance) {
        delete _pHInstance;
        _pHInstance = NULL;
    }
    return 0;
}

struct ACQUIRE_PY_GIL {
    PyGILState_STATE state;
    ACQUIRE_PY_GIL() { state = PyGILState_Ensure(); }
    ~ACQUIRE_PY_GIL() { PyGILState_Release(state); }
};

struct RELEASE_PY_GIL {
    PyThreadState *state;
    RELEASE_PY_GIL() {  state = PyEval_SaveThread(); }
    ~RELEASE_PY_GIL() { PyEval_RestoreThread(state); }
};

Python 解释器线程是为响应由 CMainFrame 窗口处理的 Windows 消息而创建的。 Python 线程和解释器响应用户命令而运行。当用户完成解释器 (Control-Z) 时，解释器退出，线程清除并删除 Python 线程状态，然后线程自行终止。

void CMainFrame::OnOpenPythonInterpreter()
{
    // Create PyThread thread
    m_pPyThread = (CPyThread*)AfxBeginThread(RUNTIME_CLASS(CPyThread),
                    THREAD_PRIORITY_BELOW_NORMAL,0, CREATE_SUSPENDED);
    CMainFrame* mf = (CMainFrame*)theApp.m_pMainWnd;
    m_pPyThread->SetOwner(this,((CWnd*)mf)->GetSafeHwnd());
    m_pPyThread->CreateLocks(&m_PyThreadEvent,&m_PyThreadBusyMutex);
    m_pPyThread->ResumeThread();
}

CPyThread 类实际上调用了Python 解释器。当解释器返回时，GIL 被释放，Python 线程状态被清除和删除。线程终止以响应 PostQuitMessage。

int CPyThread::Run() 
{
    PyEval_AcquireLock();
    PyInterpreterState * mainInterpreterState = CPyInstance::mainThreadState->interp;
    PyThreadState * myThreadState = PyThreadState_New(mainInterpreterState);
    PyEval_ReleaseLock();

    try {
        ACQUIRE_PY_GIL    lock;
        FILE* fp1 = stdin;
        char *filename = "Embedded";
        PyRun_InteractiveLoop(fp1, filename);
    } catch(const std::exception &e) {
        safe_cout << "Exception in PyRun_InteractiveLoop: " << e.what() << "\n";
    } catch(...) {
        std::cout << "Exception in Python code: UNKNOWN\n";
    }

    PyThreadState_Clear(myThreadState);
    PyThreadState_Delete(myThreadState);

    ::PostQuitMessage(0);
    return 0;
}

int CPyThread::ExitInstance() 
{
    return CWinThread::ExitInstance();
}

在“user4815162342”的建议下，我修改了我的 ~CPyInstance() 析构函数以在调用 Py_Finalize() 之前获取 GIL。现在我的应用程序似乎可以正常退出了，谢谢。

inline CPyInstance::~CPyInstance()
{
    try {
        PyGILState_STATE state = PyGILState_Ensure();
        Py_Finalize();
    } catch(const std::exception &e) {
        safe_cout << "Exception in ~CPyInstance(): " << e.what() << "\n";
    } catch(...) {
        std::cout << "Exception in Python code: UNKNOWN\n";
    }
}

Answer 1

您在调用 Py_Finalize 时没有持有全局解释器锁。这是不允许的:必须为每个 Python API 调用持有锁，但获取 GIL 本身的调用除外。

ACQUIRE_PY_GIL RAII 守卫对此没有用，因为它会在 Py_Finalize 返回后尝试释放 GIL — 在这种情况下，您必须调用 PyGILState_Ensure 没有匹配的版本。