c# - 对 Enumerable 调用 .ToArray 会破坏 Enumerable

Question

我不确定这是否特定于 ML.NET，但它确实发生在 ML.NET 的上下文中。

我正在使用 ML.NET 对一些图像进行分类。我意识到，无论我是否对结果 IEnumerable 调用 .ToArray() 都会产生严重的差异。前者导致所有数组元素变得与最后一个相同。

IEnumerable<ImageData> dataCollection = imagePaths.Select(path => new ImageData(path));
IDataView targetDataView = _mlContext.Data.LoadFromEnumerable(dataCollection);
IDataView predictionView = _transformerModel.Transform(targetDataView); 
return _mlContext.Data.CreateEnumerable<ImagePrediction>(predictionView, true).ToArray();

在上面显示的示例中，生成的预测的图像路径都将设置为 imagePaths 中的最后一个图像路径。

我不认为这是有意的行为。是什么原因导致这种情况以及如何安全地预防这种情况？目前我决定不调用 .ToArray()，但我想了解有关此问题的更多信息。

Answer 1

问题似乎出在预测引擎中，为了限制内存使用，按照reuseRowObject重用row。因此，当调用 ToList() 或 ToArray() 方法时，仅使用最后一项来投影列表/数组。

public IEnumerable<TDst> RunPipe(bool reuseRowObject)
{
    var curCounter = _counter;
    using (var cursor = _cursorablePipe.GetCursor())
    {
        TDst row = null;
        while (cursor.MoveNext())
        {
            if (!reuseRowObject || row == null)
                row = new TDst();

            cursor.FillValues(row);
            yield return row;
            if (curCounter != _counter)
                throw Contracts.Except("An attempt was made to keep iterating after the pipe has been reset.");
        }
    }
}

调用者是 CreateEnumerable()，您在其中将 reuseRowObject 显式设置为 true。

public IEnumerable<TRow> CreateEnumerable<TRow>(IDataView data, bool reuseRowObject,
    bool ignoreMissingColumns = false, SchemaDefinition schemaDefinition = null)
    where TRow : class, new()
{
    _env.CheckValue(data, nameof(data));
    _env.CheckValueOrNull(schemaDefinition);

    var engine = new PipeEngine<TRow>(_env, data, ignoreMissingColumns, schemaDefinition);
    return engine.RunPipe(reuseRowObject);
}

将 reuseRowObject 设置为 false 应该可以解决您的问题。