rhino-etl - 在 Rhino-Etl 中链接输入操作

Question

我最近才开始使用 Rhino-Etl对于非常简单的 ETL 过程，并取得了巨大的成功。我现在有一个稍微复杂的场景要解决，但我没有发现 ConventionInputCommandOperation 以我预期的方式运行。

我已经完成了一个非常简单的例子来说明我正在尝试做的事情。基本上我有两个系统，在我第一次查询系统 1 之前我不知道我想从系统 2 得到什么。我认为在另一个 InputOperation 之后立即注册一个 InputOperation 会表现得像一个循环。这样操作 1 中的每一行都将被馈送到操作 2。下面的代码失败并显示“无法执行操作 DetailReader:必须声明标量变量 @PlanetAbbrv。”所以我的问题是，您打算如何处理输入操作依赖于先前输入操作的情况？

谢谢，布莱恩

using System;
using Rhino.Etl.Core;
using Rhino.Etl.Core.ConventionOperations;

namespace ETLTest
{
    class Program
    {
        static void Main()
        {
            new MainProcess().Execute();
            Console.ReadLine();
        }
    }

    public class MainProcess : EtlProcess
    {
        protected override void Initialize()
        {
            Register(new MainReader());
            Register(new DetailReader());
        }

        protected override void PostProcessing()
        {
            foreach (var exception in GetAllErrors())
            {
                throw exception;
            }
        }
    }

    public class MainReader : ConventionInputCommandOperation
    {
        public MainReader() : base("Galactic1")
        {
            Command = @"select * from Planet";
        }
    }

    public class DetailReader : ConventionInputCommandOperation
    {
        public DetailReader() : base("Galactic2")
        {
            Command = @"select * from Delivery where DeliveryPlanetAbbrv = @PlanetAbbrv";
        }
    }
}

Answer 1

您需要让 DetailReader 选择所有行(去掉 where 操作)。然后使用 JoinOperation 将详细信息与主要信息相匹配。

Register(new JoinPlanets()
                     .Right(new MainReader())
                     .Left(new DetailReader()));


public class JoinPlanets: JoinOperation
{
    protected override Row MergeRows(Row leftRow, Row rightRow)
    {
        Row row = leftRow.Clone();
        foreach (var column in leftRow.Columns)
            row[column] = leftRow[column];
        return row;
    }

    protected override void SetupJoinConditions()
    {
        FullOuterJoin.Left("PlanetAbbrv")
                     .Right("DeliveryPlanetAbbrv");
    }
}