- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我们正在努力对数据进行正确建模以便在 Kedro 中使用 - 我们正在使用推荐的 Raw\Int\Prm\Ft\Mst 模型,但正在努力解决一些概念......例如
我很欣赏数据建模没有硬性规定,但这些都是重大的建模决策,任何有关 Kedro 建模的指导或最佳实践都会非常有帮助,我可以在 Kedro docs 中找到一张定义各层的表。
如果有人可以提供任何有关 Kedro 数据建模的进一步建议或博客\文档,那就太棒了!
最佳答案
很好的问题。正如您所说,这里没有硬性规定,意见也各不相同,但让我作为一名 QB 数据科学家和 kedro 维护者分享我的观点,他曾多次使用过您提到的分层约定。
首先,我要强调的是,如果 kedro 建议的数据工程约定不适合您的需求,那么绝对没有理由坚持它。 99% 的用户不会更改 data
中的文件夹结构。这并不是因为 kedro 默认结构适合他们,而是因为他们只是不想改变它。您绝对应该添加/删除/重命名图层以适合自己。最重要的是选择一组适合您的项目的图层(甚至是非分层结构),而不是尝试硬塞数据集以适应 kedro 默认建议。
现在,假设您遵循 kedro 的建议结构 - 解决您的问题:
When is a dataset a feature rather than a primary dataset? The distinction seems vague...
对于简单特征,特征数据集可能与主要数据集非常相似。如果您考虑更复杂的功能,例如通过在时间窗口内聚合而形成。主数据集将有一列提供原始数据的清理版本,但无需对其进行任何复杂的计算,只需进行简单的转换。假设原始数据是一周内驶过您家的所有汽车的颜色。当数据处于主要状态时,它将是干净的(例如,将“rde”更正为“红色”,可能将“深红色”和“红色”映射为相同的颜色)。在主要层和特征层之间,我们将对其进行一些不那么简单的计算,例如每天查找最常见的汽车颜色 one-hot 编码。
Is it OK for a primary dataset to consume data from another primary dataset?
在我看来,是的。如果您想将多个主表连接在一起,这可能是必要的。一般来说,如果您正在构建复杂的管道,如果您不允许这样做,将会变得非常困难。例如在要素图层中,我可能希望根据两个输入 feature_1
和 feature_2
形成一个包含 composite_feature = feature_1 * feature_2
的数据集。如果要素层中没有多个子层,则无法做到这一点。
但是,通常值得避免的是消耗来自许多不同层的数据的节点。例如一个节点,它从要素层获取一个数据集,从中间层获取一个数据集。这看起来有点奇怪(为什么后面的数据集没有通过要素层?)。
Is it good practice to build a feature dataset from the INT layer? or should it always pass through Primary?
从中间层构建功能并非闻所未闻,但似乎有点奇怪。主层通常是重要的一层,它构成了所有特征工程的基础。如果您的数据处于可以构建特征的形状,那么这意味着它可能已经是主要层。在这种情况下,也许您不需要中间层。
以上几点可以总结为以下规则(毫无疑问,在需要时应该打破这些规则):
L
层中节点的输入数据集应全部位于同一层,可以是 L
或 L-1
L
中节点的输出数据集应全部位于同一层L
,可以是L
或L+1
If anyone can offer any further advice or blogs\docs talking about Kedro Data Modelling that would be awesome!
我也有兴趣看看其他人的想法!需要注意的一件可能有用的事情是 kedro 受到 cookiecutter 数据科学的启发,并且 kedro 层结构是 what's suggested there 的扩展版本。 。也许其他项目已经采用了这个目录结构并以不同的方式对其进行了调整。
关于Kedro 数据建模,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/67925860/
初学者 android 问题。好的,我已经成功写入文件。例如。 //获取文件名 String filename = getResources().getString(R.string.filename
我已经将相同的图像保存到/data/data/mypackage/img/中,现在我想显示这个全屏,我曾尝试使用 ACTION_VIEW 来显示 android 标准程序,但它不是从/data/dat
我正在使用Xcode 9,Swift 4。 我正在尝试使用以下代码从URL在ImageView中显示图像: func getImageFromUrl(sourceUrl: String) -> UII
我的 Ubuntu 安装 genymotion 有问题。主要是我无法调试我的数据库,因为通过 eclipse 中的 DBMS 和 shell 中的 adb 我无法查看/data/文件夹的内容。没有显示
我正在尝试用 PHP 发布一些 JSON 数据。但是出了点问题。 这是我的 html -- {% for x in sets %}
我观察到两种方法的结果不同。为什么是这样?我知道 lm 上发生了什么,但无法弄清楚 tslm 上发生了什么。 > library(forecast) > set.seed(2) > tts lm(t
我不确定为什么会这样!我有一个由 spring data elasticsearch 和 spring data jpa 使用的类,但是当我尝试运行我的应用程序时出现错误。 Error creatin
在 this vega 图表,如果我下载并转换 flare-dependencies.json使用以下 jq 到 csv命令, jq -r '(map(keys) | add | unique) as
我正在提交一个项目,我必须在其中创建一个带有表的 mysql 数据库。一切都在我这边进行,所以我只想检查如何将我所有的压缩文件发送给使用不同计算机的人。基本上,我如何为另一台计算机创建我的数据库文件,
我有一个应用程序可以将文本文件写入内部存储。我想仔细看看我的电脑。 我运行了 Toast.makeText 来显示路径,它说:/数据/数据/我的包 但是当我转到 Android Studio 的 An
我喜欢使用 Genymotion 模拟器以如此出色的速度加载 Android。它有非常好的速度,但仍然有一些不稳定的性能。 如何从 Eclipse 中的文件资源管理器访问 Genymotion 模拟器
我需要更改 Silverlight 中文本框的格式。数据通过 MVVM 绑定(bind)。 例如,有一个 int 属性,我将 1 添加到 setter 中的值并调用 OnPropertyChanged
我想向 Youtube Data API 提出请求,但我不需要访问任何用户信息。我只想浏览公共(public)视频并根据搜索词显示视频。 我可以在未经授权的情况下这样做吗? 最佳答案 YouTube
我已经设置了一个 Twilio 应用程序,我想向人们发送更新,但我不想回复单个文本。我只是想让他们在有问题时打电话。我一切正常,但我想在发送文本时显示传入文本,以确保我不会错过任何问题。我正在使用 p
我有一个带有表单的网站(目前它是纯 HTML,但我们正在切换到 JQuery)。流程是这样的: 接受用户的输入 --- 5 个整数 通过 REST 调用网络服务 在服务器端运行一些计算...并生成一个
假设我们有一个名为 configuration.js 的文件,当我们查看内部时,我们会看到: 'use strict'; var profile = { "project": "%Projec
这部分是对 Previous Question 的扩展我的: 我现在可以从我的 CI Controller 成功返回 JSON 数据,它返回: {"results":[{"id":"1","Sourc
有什么有效的方法可以删除 ios 中 CBL 的所有文档存储?我对此有疑问,或者,如果有人知道如何从本质上使该应用程序像刚刚安装一样,那也会非常有帮助。我们正在努力确保我们的注销实际上将应用程序设置为
我有一个 Rails 应用程序,它与其他 Rails 应用程序通信以进行数据插入。我使用 jQuery $.post 方法进行数据插入。对于插入,我的其他 Rails 应用程序显示 200 OK。但在
我正在为服务于发布请求的 API 调用运行单元测试。我正在传递请求正文,并且必须将响应作为帐户数据返回。但我只收到断言错误 注意:数据是从 Azure 中获取的 spec.js const accou
我是一名优秀的程序员,十分优秀!