c# - 以编程方式编写脚本 SSIS 包 - 动态 XML 到 OLE DB

Question

我一直在努力拼凑其他用户是如何完成他们的项目的，但我的理解仍然有限。

我想获取任何给定的 XML 源，创建数据流任务，并将其数据传递到与 XML 文件的表名匹配的 OLE DB 目标。使用可视化工具运行它意味着我无法执行动态数据流任务，因为元数据不会刷新。

我已经创建了一个创建包的脚本，但是当我在 Visual Studio 中打开包时，它有一个红色 x 表示输入列不能为零。当我向下钻取并查看 OLE DB 目标的映射时，然后单击确定 - 它会为我更正它。我不知道如何以编程方式执行此操作。

我见过其他人通过使用 foreach 循环并遍历输入列来解决它，但我似乎无法弄明白。

我还有一个单独的脚本，我试图用它来模仿几个人的脚本，但它有不同的问题。不确定如何将其作为附件发布

预先感谢您的帮助:)

编辑

我一直在尝试 BIML 获得积极的反馈，我会......但我想知道在短期内是否有人可以帮助我弄清楚为什么这不会为我的输入填写 ExternalMetaDataColumnId。我在下面发布了更新后的代码，其中的 foreach 循环没有按照我的预期进行。

谢谢 ＃地区 使用系统； 使用 System.Collections.Generic； 使用 System.Linq； 使用系统文本； 使用 System.Threading.Tasks； 使用 Microsoft.SqlServer.Dts.Runtime； 使用 Microsoft.SqlServer.Dts.Pipeline.Wrapper； 使用 System.Xml； #endregion

namespace ConsoleApplication3
{
    class Program
    {
        static void Main(string[] args)
        {
            #region Initial Setup
            Application a = new Application();
            Package p = new Package();
            TaskHost t = p.Executables.Add("DTS.Pipeline") as TaskHost;
            t.Name = "DataFlow Task";
            t.Description = "Flat File to Database";
            MainPipe mp = t.InnerObject as MainPipe;
            #endregion

            #region Flat File Source in Dataflow Task
            IDTSComponentMetaData100 md = mp.ComponentMetaDataCollection.New(); 
            md.ComponentClassID = "Microsoft.XmlSourceAdapter"; 
            md.Name = "XML Source"; 
            CManagedComponentWrapper wrp = md.Instantiate(); 
            wrp.ProvideComponentProperties(); 

            #endregion

            #region Add connection manager to OLE DB
            ConnectionManager conn = p.Connections.Add("OLEDB");
            conn.Name = "westcoastuserDBO";
            conn.ConnectionString = "Data Source=SERVER;Initial Catalog=DBO;Provider=SQLNCLI11.1;Integrated Security=SSPI;Auto Translate=False;";
            #endregion


            #region XML Source Properties
            wrp.SetComponentProperty("XMLData", @"C:\Users\file.xml");
            wrp.SetComponentProperty("XMLSchemaDefinition", @"C:\Users\file.xsd");
            wrp.SetComponentProperty("AccessMode", 0);
            wrp.SetComponentProperty("UseInlineSchema", false);
            //below does not work
            //wrp.SetComponentProperty("XMLIntegerMapping", 0).TypeConverter = "Microsoft.SqlServer.Dts.Pipeline.XmlSourceAdapter + XMLIntegerMappingConverter";

            wrp.ReinitializeMetaData();
            wrp.ReleaseConnections();
            IDTSComponentMetaData100 md2 = mp.ComponentMetaDataCollection.New();
            md2.ComponentClassID = "Microsoft.OLEDBDestination";
            CManagedComponentWrapper wrp2 = md2.Instantiate();
            wrp2.ProvideComponentProperties();
            md2.Name = "OLE DB Connection";
            md2.UsesDispositions = true;
            md2.Version = 4;
            wrp2.SetComponentProperty("OpenRowset", "dbo.authorizations");
            #endregion

            IDTSPath100 path = mp.PathCollection.New();
            path.AttachPathAndPropagateNotifications(md.OutputCollection[0], md2.InputCollection[0]);

            IDTSInput100 input = md2.InputCollection[0];
            IDTSVirtualInput100 vInput = input.GetVirtualInput();

            //below taken from https://stackoverflow.com/questions/12587709/c-sharp-ssis-data-flow-component-creating-custom-input-columns
            IDTSExternalMetadataColumnCollection100 externalColumnCollection = input.ExternalMetadataColumnCollection;


            // Iterate through the virtual input column collection.
            foreach (IDTSVirtualInputColumn100 vColumn in vInput.VirtualInputColumnCollection)
            {
                // Call the SetUsageType method of the destination
                // to add each available virtual input column as an input column.
                wrp2.SetUsageType(
                   input.ID, vInput, vColumn.LineageID, DTSUsageType.UT_READONLY);
            }

            // Get the destination's default output collection
            IDTSOutputCollection100 outColl = md2.OutputCollection;

            // Iterate through the outputs in default output collection
            foreach (IDTSOutput100 output in outColl)
            {
                // Iterate through the default output columns in the output 
                int count = output.OutputColumnCollection.Count;
                foreach (IDTSOutputColumn100 outputColumn in output.OutputColumnCollection)
                {
                    // Get the output's external metadata column collection
                    IDTSExternalMetadataColumnCollection100 extMetadataColumnColl = output.ExternalMetadataColumnCollection;

                    // Iterate through the external metadata column collection's external metadata columns
                    foreach (IDTSExternalMetadataColumn100 extMetadataColumn in extMetadataColumnColl)
                    {
                        // Call the MapOutPutColumn method of the destination to map
                        // each available output column to an external metadata column 
                        wrp2.MapOutputColumn(
                            output.ID, outputColumn.ID, extMetadataColumn.ID, true);
                    }
                }
            }

            md2.RuntimeConnectionCollection[0].ConnectionManager = DtsConvert.GetExtendedInterface(conn);
            md2.RuntimeConnectionCollection[0].ConnectionManagerID = conn.ID;
            conn.AcquireConnection(null);




            #region Save Package to FileSystem
            string packageXml = @"C:\Users\test.dtsx";
            XmlDocument myPkgDocument = new XmlDocument();
            p.SaveToXML(ref myPkgDocument, null, null);
            a.SaveToXml(packageXml, p, null);
            #endregion
        }
    }
}

Answer 1

我认为问题是您没有将输入列映射到 OLEDB 目标，打开包后，如果您单击 OLEDB 目标并转到“映射”部分，它会根据列名自动映射列.其他人使用的 Foreach 循环是遍历列并将它们映射到相关的目标列。

关于动态创建SSIS包的文章很多，可以引用:

• Dynamic Data Flow in SSIS using .NET/C#
• Programmatically map the columns of a flat file destination?
• Building Packages Programmatically
• Samples for creating SSIS packages programmatically
• Generating SSIS Packages Programmatically (Part I)