c - 如何使 pthreads 池运行任意例程

Question

我正在使用 pthreads 实现线程池。所有线程共享一个工作队列，主机主线程将工作推送到这个共享队列中。我的实现将用作一个库，它应该能够运行任何应用程序，因此我希望这里的工作是一个具有任意数量参数的任意例程。我在互联网上搜索了这个但没有找到任何解决方案。

大部分实现的一部分是这样的:

typedef struct
{
  void* (*routine)(void*); // work routine
  void* arg; //work routine argument
} _work;

typedef struct
{
  _work *work;
  pthrea_mutex_t work_lock;
  pthread_cond_t work_ready;
} _tpool;

static _tpool *tpool = NULL;

void* thread_routine(void* args)
{
  _work *work;
  while(1){
    pthread_mutex_lock(&tpool->work_lock);
    while(!tpool->work){
        pthread_cond_wait(&tpool->work_ready, &tpool->work_lock);
    }
    work = tpool->work;
    pthread_mutex_unlock(&tpool->work_lock);
    work->routine(work->arg);
  }
  return NULL;
}

创建线程时，它们会一直等待，直到有工作被插入工作队列。在这个例子中，我假设队列中只有一个工作。这里的问题是工作例程只有一个参数，虽然这个参数可以包含多个参数，如果它是 C 中的结构。如果给定一个应用程序，我们可以很容易地定义这样一个结构，但由于它是一个库，它应该处理任意应用程序。问题是如何处理参数数量未知的任意例程？

例如，我希望实现是这样的:

typedef struct
{
  void* (*routine)(void*); // work routine
  void** args; // point to a list of arguments
  int num_args; // number of arguments
} _work;

在 thread_routine() 中，它应该启动

work->routine(work->args[0], work->arg[1], work->arg[2], ...);

这里的重点是我们不知道线程将执行什么例程。它可以是任何例程。例如，这里的例程可以是:

work_1(int a);

work_2(int a, double b)

work_3(float* a, int c, double* b);

关于如何实现这个目标有什么建议吗？谢谢。

Answer 1

有几种方法可以做到这一点:

您可以要求您的例程具有 void* work(void *arg) 例程。如果客户端需要传递多个参数，可以将参数打包到结构中并传递指向该结构的指针:

struct add_ctx {
    int a, b;
    int result;
}
void *work_add (void *data)
{
    struct add_ctx *args = data;
    args->result = args->a + args->b;
}
/* Queue work order */
struct add_ctx args = { 2, 4, 0 }; // or better allocate on heap
queue_work (work_add, &add_ctx);
// wait for finish job
printf ("result: %d\n", args.result);

或

您可以为预期的函数签名创建函数“调用接口(interface)”描述:

enum Type { INT, INTPTR };
struct ParamDesc {
    enum Type *param_types;
    int n_params;
    void *(*marshaller)(void);
};
/* Marshaller for void* f(int,int,int*) */
void *call_INT_INT_INTPTR (void *(*fn)(int,int,int*), void *opaque_args) {
    int a = unpack_int(opaque_args);
    int b = unpack_int(opaque_args);
    int *c = unpack_pointer(opaque_args);
    return fn(a,b,c);
}
/* Marshallers for other types... */

struct ParamDesc desc = {{INT,INT,INTPTR}, 3, call_INT_INT_INTPTR};

void *work_add (int a, int b, int *result)
{
    *result = a + b;
}

/* Queue work order */
int a,b, result;
queue_work(&desc, work_add, a, b, &result);
/* queue_work is variable arguments function that has to somehow
  pack arguments according to ParamDesc it receives */

这需要相当大量的样板代码，但其中大部分都可以自动生成。看看它是如何在 Glib 中完成的:https://developer.gnome.org/gobject/stable/signal.html

或

您可能会使用像 libffi 这样的库