- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在从事一个数据仓库项目,其中有很多源创建平面文件作为源,我们正在使用 SSIS 将这些文件加载到我们的临时表中,我们当前正在使用平面文件源组件。
但是,过了一段时间,我们需要在其中一个文件中添加一个额外的列,并且从文件规范更改的日期开始添加该额外的列。这个练习发生得相当频繁,并且随着时间的推移积累了相当多的版本。
根据我在这里和互联网上其他地方可以找到的答案,处理这种情况的商定方法似乎是在该版本的新单独数据流中设置新的平面文件源,以保持可重新运行性用于旧文件的 ETL 过程。此处概述了方法,例如:SSIS pkg with flat-file connection with fewer columns will fail
在我们的特定设置中,附加列始终是附加列(永远不会删除旧列),而且,出于逻辑原因,如果我们在单独的数据流中保留旧文件的可重新运行性,则新列不能是强制性的。
我认为创建重复数据流来一遍又一遍地处理同一组列的方法对于像我们这样的数据仓库项目来说并不是一个好的答案,我更喜欢使用最后一个文件版本的源组件并且能够将列标记为“非强制”并在缺失时传递 null。
有人知道 SSIS 平面文件组件可以更灵活地处理旧文件版本,或者有更好的解决方案来解决此问题吗?我认为这样的组件需要在命名列的基础上处理文件,而不是现有的从左到右的方法?
欢迎任何想法或建议!
最佳答案
以下内容在处理时会降低效率(相对于具有单独的数据流),但将为您提供在单个数据流中处理多种文件类型的灵 active 。
您可以通过仅指定行分隔符来安排平面文件连接以返回行而不是单个列。将其连接到平面文件源组件,该组件将每行输出一列。现在,我们有一行代表您所知道的多种文件类型之一 - 下一步是确定您拥有哪种文件类型。
使用脚本组件使用平面文件类型的输出。传入单个列并传出所有可能列的超集。我们丢失了通常从文件源显示的元数据,因此您需要在脚本组件输出类型中构建列名称/类型/大小。
在脚本组件内,传递该行并将其分成其组件列。您必须执行模式匹配(可能使用 RegularExpression.Regex.Match)来识别新列何时开始。希望该文件格式正确,这将对您有所帮助 - 请注意文本列中的引号和逗号。
您现在可以通过确定拥有的列数和默认缺失的列来访问文件类型。设置行的输出列以传递组成部分。您可能需要附加一个新列来记录输出的文件类型。
该过程的其余部分应该能够使用单个数据流加载您的表,因为您已经满足了脚本中的所有文件类型的需求。
我不建议您轻易执行上述操作。当您必须对所有列/类型等进行编码时,SSIS 的好处会有所减弱,但是它将为您提供单个数据流来处理每个文件版本,并且可以在传递新列时进行扩展。
关于SSIS 平面文件 - 如何处理文件版本/生成,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/13358813/
无法使用 Hive 版本 1.1.0 HBase 版本 0.94.8 和 hadoop 版本 2.7.0 从 hive 创建 Hbase 表 hive (default)> CREATE TABLE
我试图为 electron app 创建可执行文件但面临这个问题 Unable to determine Electron version. Please specify an Electron ve
我正在尝试让自适应阈值在 python 绑定(bind)到 opencv 中工作(swig 一个 - 无法让 opencv 2.0 工作,因为我正在使用 beagleboard 因为交叉编译还没有工作
我一直在 linux 机器上使用 JMeter,在命令行下使用了一段时间。工作正常。 今天,我在 Windows 机器(新客户端等)上尝试了它,它确实可以工作,但在控制台窗口中输出有很大不同。 Lin
在我的编码环境中,我通常使用最新版本的 Java 和 Eclipse。当我编写源代码时,我不会注意我使用的 API 方法或类是否向后兼容旧版本的 Java 或 Eclipse。在 javadoc 中存
问题是关于版本的特定组合,但更普遍。 我刚刚从 Kubuntu 12.04 升级到 14.04。现在,当我想编译 CUDA 代码(使用 CUDA 6.5)时,我得到: #error -- unsupp
我目前正在对我的一些应用程序进行沙箱处理,看来我必须删除一些功能才能满足 Mac App Store 沙箱(和其他)规则。 显然用户不会因为失去功能而感到高兴,我担心他们不会指责苹果制定了愚蠢的规则,
我用 flash 和 js 版本创建了一个动画横幅。 是否可以检测低于版本 9 的 ie 版本,然后提供 Flash 横幅,否则提供 js 横幅。 最佳答案 您可以使用条件注释来检测 IE 版本
我有一个处理不同位置的数据库的应用程序,我想检查这些数据库是否使用 Firebird 2.5 或更高版本打开。我们最近从 Firebird 2.0 迁移到了 2.5,我们有很多数据库可以响应 sele
我正在开发一个应用程序,我使用托管在我的服务器上的 Java 和 Jersey 构建了后端部分。我在服务器上使用 Tomcat7 来调用 Web 服务。 我以前有一台安装了 Ubuntu 的计算机,我
我可以使用 GetVersionEx() 函数来获取 Windows 版本,但是这个函数将返回一个数字而不是一个字符串。但是没有问题,因为我可以将数字转换为字符串,例如: if (osvi.dwMaj
我已经在我的系统中安装了 Anaconda 2 & 3。 Anaconda 2 包含 python 2.7 & Anaconda 3 包含 python 3.6。 我需要使用命令提示符运行我的 pyt
我正在尝试构建一个 Android 项目,但发生了以下错误 Error:(10, 1) A problem occurred evaluating project ':app'. > Failed t
关闭。这个问题需要更多focused .它目前不接受答案。 想改进这个问题吗? 更新问题,使其只关注一个问题 editing this post . 关闭 4 年前。 Improve this qu
在降级我的 GCC 之前,我想知道是否有办法确定我的机器中的哪些程序/框架或依赖项会中断,以及是否有更好的方法来执行 openpose 安装? (例如,在 CMake 中更改某些内容) 有没有办法在不
我已经在终端的代码sudo apt-get install Shadowsocks-qt5中安装了Shadowsocks-Qt5,然后我可以通过搜索找到启动图标,但是它当我点击图标时打不开。然后我尝试
在网络上找到的文档说,MLLP V2(第 2 版)是用于传输 HL7 版本 3 内容的所有消息传输协议(protocol)的要求。似乎 MLLP 第 2 版主要用于 HL7 第 3 版。 我们可以/应
我正在使用带有 selinium webdriver 的 Protractor 。我的chromeDriver版本是78.0.1,chrome版本是78.0.3904.97。两个版本都匹配,应该不会有
我正在按照教程设置 mysql 数据库并做一些事情。我无法找到数据库资源管理器。我读了很多,但在 Window->show View-> Dataxxx 或右侧上部选项卡中无法正常工作。 最佳答案 从
我已经在 KDE 桌面上安装了 Anaconda 2.0.1。当我运行 python 并看到所有已安装的模块时,我收到此消息“无法将不兼容的 Qt 库(版本 0x40801)与该库(版本 0x4080
我是一名优秀的程序员,十分优秀!