c++ - 为什么 OpenSSL 会给我一个 "called a function you should not call"错误？

Question

我正在努力为我的服务器程序添加 OpenSSL 支持，通常它运行良好，但我遇到了一个问题。

首先，一些背景知识:服务器是单线程的，使用非阻塞 I/O 和 select() 循环同时处理多个客户端。服务器链接到 libssl.0.9.8.dylib 和 lib crypto.0.9.8.dylib(即 MacOS/X 10.8.5 在/usr/lib 中提供的库)。客户端<->服务器协议(protocol)是专有的全双工消息协议(protocol)；也就是说，客户端和服务器都允许随时发送和接收数据，并且客户端<->服务器 TCP 连接无限期地保持连接(即直到客户端或服务器决定断开连接)。

问题是这样的:我的客户端可以连接到服务器，并且发送和接收数据工作正常(现在我已经解决了 SSL_ERROR_WANT_WRITE 和 SSL_ERROR_WANT_READ 逻辑)......但是如果服务器接受()的新客户端连接当其他客户端正在发送或接收数据时，SSL 层似乎中断了。特别是，在服务器运行 SetupSSL() 例程(如下所示)以设置新接受的套接字之后，一个或多个其他(预先存在的)客户端套接字上的 SSL_read() 将立即返回 -1，并且ERR_print_errors_fp(stderr) 给出了这个输出:

SSL_read() ERROR:  5673:error:140F3042:SSL routines:SSL_UNDEFINED_CONST_FUNCTION:called a function you should not call:/SourceCache/OpenSSL098/OpenSSL098-47.2/src/ssl/ssl_lib.c:2248:

此错误首次出现后，服务器基本停止工作。数据移动停止，如果我尝试连接另一个客户端，我经常会收到此错误:

SSL_read() ERROR: 5673:error:140760FC:SSL routines:SSL23_GET_CLIENT_HELLO:unknown protocol:/SourceCache/OpenSSL098/OpenSSL098-47.2/src/ssl/s23_srvr.c:578: 

在我的测试场景中，这种情况发生的概率约为 25%。如果我确保在新客户端连接时我预先存在的客户端连接处于空闲状态(没有发送或接收数据)，则它永远不会发生。有谁知道这里可能出了什么问题？我是否发现了 OpenSSL 错误，或者是否有一些细节被我忽略了？下面粘贴了我程序中的一些相关代码，希望对您有所帮助。

// Socket setup routine, called when the server accepts a new TCP socket
int SSLSession :: SetupSSL(int sockfd)
{
  _ctx = SSL_CTX_new(SSLv23_method());
  if (_ctx)
  {
     SSL_CTX_set_mode(_ctx, SSL_MODE_ENABLE_PARTIAL_WRITE);

     _ssl = SSL_new(_ctx);
     if (_ssl)
     {
        _sbio = BIO_new_socket(sockfd, BIO_NOCLOSE);
        if (_sbio)
        {
           SSL_set_bio(_ssl, _sbio, _sbio);
           SSL_set_accept_state(_ssl);

           BIO_set_nbio(_sbio, !blocking);
           ERR_print_errors_fp(stderr);

           return RESULT_SUCCESS;
        }
        else fprintf(stderr, "SSLSession:  BIO_new_socket() failed!\n");
     }
     else fprintf(stderr, "SSLSession:  SSL_new() failed!\n");
  }
  else fprintf(stderr, "SSLSession:  SSL_CTX_new() failed!\n");

  return RESULT_FAILURE;
}

// Socket read routine -- returns number of bytes read from SSL-land
int32 SSLSession :: Read(void *buffer, uint32 size)
{
  if (_ssl == NULL) return -1;

  int32 bytes = SSL_read(_ssl, buffer, size);
  if (bytes > 0) 
  {
     _sslState &= ~(SSL_STATE_READ_WANTS_READABLE_SOCKET | SSL_STATE_READ_WANTS_WRITEABLE_SOCKET);
  }
  else if (bytes == 0) return -1;  // connection was terminated
  else
  {
     int err = SSL_get_error(_ssl, bytes);
     if (err == SSL_ERROR_WANT_WRITE)
     {
        // We have to wait until our socket is writeable, and then repeat our SSL_read() call.
        _sslState &= ~SSL_STATE_READ_WANTS_READABLE_SOCKET;
        _sslState |=  SSL_STATE_READ_WANTS_WRITEABLE_SOCKET;
        bytes = 0;
     }
     else if (err == SSL_ERROR_WANT_READ)
     {
        // We have to wait until our socket is readable, and then repeat our SSL_read() call.
        _sslState |=  SSL_STATE_READ_WANTS_READABLE_SOCKET;
        _sslState &= ~SSL_STATE_READ_WANTS_WRITEABLE_SOCKET;
        bytes = 0;
     }
     else
     {
        fprintf(stderr, "SSL_read() ERROR:  ");
        ERR_print_errors_fp(stderr);
     }
  }
  return bytes;
}

// Socket write routine -- returns number of bytes written to SSL-land
int32 SSLSession :: Write(const void *buffer, uint32 size)
{
  if (_ssl == NULL) return -1;

  int32 bytes = SSL_write(_ssl, buffer, size);
  if (bytes > 0) 
  {
     _sslState &= ~(SSL_STATE_WRITE_WANTS_READABLE_SOCKET | SSL_STATE_WRITE_WANTS_WRITEABLE_SOCKET);
  }
  else if (bytes == 0) return -1;  // connection was terminated
  else
  {
     int err = SSL_get_error(_ssl, bytes);
     if (err == SSL_ERROR_WANT_READ)
     {
        // We have to wait until our socket is readable, and then repeat our SSL_write() call.
        _sslState |=  SSL_STATE_WRITE_WANTS_READABLE_SOCKET;
        _sslState &= ~SSL_STATE_WRITE_WANTS_WRITEABLE_SOCKET;
        bytes = 0;
     }
     else if (err == SSL_ERROR_WANT_WRITE)
     {
        // We have to wait until our socket is writeable, and then repeat our SSL_write() call.
        _sslState &= ~SSL_STATE_WRITE_WANTS_READABLE_SOCKET;
        _sslState |=  SSL_STATE_WRITE_WANTS_WRITEABLE_SOCKET;
        bytes = 0;
     }
     else
     {
        fprintf(stderr,"SSL_write() ERROR!");
        ERR_print_errors_fp(stderr);
     }
  }
  return bytes;
}

Answer 1

openssl-users 邮件列表中的某个人帮助我解决了这个问题；问题是我正在使用 SSLv23_method() 设置我的 SSL session ，并且在使用 SSLv23_method() 时，您不能调用 SSL_pending() 直到 SSL 握手完成协商哪个协议(protocol)(SSLv2、SSLv3、TLSv1 等)它实际上将要使用。

因为我的应用程序不需要与旧版本的 SSL 兼容，所以我的快速解决方法是在设置期间调用 SSLv3_method() 而不是 SSLv23_method()。如果需要向后兼容，那么我需要找出某种方法来检测协议(protocol)协商何时完成，并避免在此之前调用 SSL_pending() ；但我暂时忽略这个问题，因为我不需要该功能。