multithreading - 虚幻引擎4 : Adapting ReadPixels() to a multithreaded framework

Question

我正在尝试访问像素数据并将图像从游戏中的相机保存到磁盘。最初，简单的方法是使用渲染目标，然后使用RenderTarget-> ReadPixels()，但是由于ReadPixels()的 native 实现包含对FlushRenderingCommands()的调用，因此它将阻塞游戏线程，直到图像被保存为止。作为计算密集型操作，这使我的FPS降低了太多。

为了解决此问题，我尝试创建一个专用线程，该线程可以作为CaptureComponent访问摄像机，然后采用类似的方法。但是由于只能从游戏线程中调用FlushRenderingCommands()块，因此我不得不在没有该调用的情况下重写ReadPixels()(以一种非阻塞的方式，受https://wiki.unrealengine.com/Render_Target_Lookup教程的启发):但是即使那样我每当保存图像时，我的游戏内FPS都会出现问题(我确认这不是因为实际保存到磁盘操作，而是因为像素数据访问)。我重写的ReadPixels()函数如下所示，我希望就这里可能出现的问题获得一些建议。我不确定是否可以从非游戏线程中调用ENQUEUE_UNIQUE_RENDER_COMMAND_ONEPARAMETER，这是否是我的问题的一部分。

APIPCamera* cam = GameThread->CameraDirector->getCamera(0);
USceneCaptureComponent2D* capture = cam->getCaptureComponent(EPIPCameraType::PIP_CAMERA_TYPE_SCENE, true);
if (capture != nullptr) {
    if (capture->TextureTarget != nullptr) {
        FTextureRenderTargetResource* RenderResource = capture->TextureTarget->GetRenderTargetResource();
        if (RenderResource != nullptr) {
            width = capture->TextureTarget->GetSurfaceWidth();
            height = capture->TextureTarget->GetSurfaceHeight();
            // Read the render target surface data back.    
            struct FReadSurfaceContext
            {
                FRenderTarget* SrcRenderTarget;
                TArray<FColor>* OutData;
                FIntRect Rect;
                FReadSurfaceDataFlags Flags;
            };

            bmp.Reset();
            FReadSurfaceContext ReadSurfaceContext =
            {
                RenderResource,
                &bmp,
                FIntRect(0, 0, RenderResource->GetSizeXY().X, RenderResource->GetSizeXY().Y),
                FReadSurfaceDataFlags(RCM_UNorm, CubeFace_MAX)
            };
            ENQUEUE_UNIQUE_RENDER_COMMAND_ONEPARAMETER(
                ReadSurfaceCommand,
                FReadSurfaceContext, Context, ReadSurfaceContext,
                {
                    RHICmdList.ReadSurfaceData(
                    Context.SrcRenderTarget->GetRenderTargetTexture(),
                    Context.Rect,
                    *Context.OutData,
                    Context.Flags
                );
            });
        }
    }
}

编辑:我注意到的另一件事是，如果我在渲染目标设置中禁用了HDR，则口吃会消失(但这会导致图像质量下降):因此，图像的大小也许仍在阻止一个，这似乎是合理的核心线程，因为我实现它的方式。

Answer 1

因为有任务图的底层调用，所以应该可以从任何线程调用ENQUEUE_UNIQUE_RENDER_COMMAND_ONEPARAMETER。当您分析该宏生成的代码时，您可以看到它:

if(ShouldExecuteOnRenderThread()) 
{ 
    CheckNotBlockedOnRenderThread(); 
    TGraphTask<EURCMacro_##TypeName>::CreateTask().ConstructAndDispatchWhenReady(ParamValue1); 
} 

您应该谨慎地从不同的线程访问UObject(例如 USceneCaptureComponent2D)，因为这些对象由Garbage Collector管理，并由游戏线程拥有。

(...) but even then I am facing a problem with my in-game FPS being jerky whenever an image is saved

您是否使用 stat unit或 stat unitgraph命令检查了导致FPS下降的线程？您还可以使用 profiling tools进行更详细的了解，并确保没有其他导致延迟的原因。

编辑:
我发现了另一个 method of accessing pixel data。尝试执行此操作，而不实际在 for循环中复制数据，然后检查FPS是否有任何改进。这可能会更快一点，因为它们之间没有像素操纵/转换。