个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
24
4
假设我们有多个长期运行的管道节点。
检查点或缓存中间结果似乎很简单，所以当检查点之后的节点被更改或添加时，只有这些节点必须再次执行。
Kedro 是否提供功能来确保，当我运行管道时，只有这些步骤是
已执行的已更改？
同样反过来，有没有办法确保所有已更改的步骤都被执行？
假设产生一些中间结果的管道发生了变化，当我根据第一个的输出执行管道时，它会被执行吗？
TL;博士: Kedro 有没有 makefile - 像跟踪什么需要做，什么不？
我认为我的问题类似于 issue #341 ，但我不需要循环图的支持。
最佳答案
您可能想看看 IncrementalDataSet旁边 partitioned dataset文档，特别是关于 incremental loads with the incremental dataset 的部分它有一个“检查点”的概念，虽然检查点是一个手动步骤，而不是像 makefile 那样自动化.
关于kedro - Kedro 是否支持检查点/结果缓存？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/62215724/
24
4
0
假设我们有多个长期运行的管道节点。 检查点或缓存中间结果似乎很简单，所以当检查点之后的节点被更改或添加时，只有这些节点必须再次执行。 Kedro 是否提供功能来确保，当我运行管道时，只有这些步骤是 已
我们正在 10 多家公司之间部署一个数据联盟。 Wi 将为所有公司部署多个机器学习模型(一般为高级分析模型)，我们将管理所有模型。我们正在寻找一种管理多个服务器、集群和数据科学管道的解决方案。我喜欢
我们正在努力对数据进行正确建模以便在 Kedro 中使用 - 我们正在使用推荐的 Raw\Int\Prm\Ft\Mst 模型，但正在努力解决一些概念......例如 什么时候数据集是要素而不是主要数据
我们正在努力对数据进行正确建模以便在 Kedro 中使用 - 我们正在使用推荐的 Raw\Int\Prm\Ft\Mst 模型，但正在努力解决一些概念......例如 什么时候数据集是要素而不是主要数据
我有一个包含相同数据格式的多个文件的目录(每天 1 个文件)。这就像一个数据分成多个文件。 是否可以在不指定每个文件的情况下将所有文件传递给 A Kedro 节点？那么它们都是根据运行程序顺序或并行处
输入是一个数据框列表。如何将其保存到 ExcelLocalDataSet 中，其中每个数据框都是单独的工作表？ 最佳答案 目前 ExcelLocalDataset 实现目前面向写一张纸，这为您提供了两
kedro建议将参数存储在 conf/base/parameters.yml 中。让我们假设它看起来像这样: step_size: 1 model_params: learning_rate:
CSVS3DataSet/HDFS3DataSet/HDFS3DataSet 使用 boto3，已知它不是线程安全的 https://boto3.amazonaws.com/v1/documentat
我未能成功禁用 kedro 日志。我尝试将 disable_existing_loggers: True 添加到logging.yml 文件，并将disable:True 添加到所有现有日志，但它似乎
在 Kedro 中，我们可以管道化不同的节点并部分运行一些节点。当我们部分运行一些节点时，我们需要将一些来自节点的输入保存在某个地方，以便当另一个节点运行时它可以访问前一个节点生成的数据。但是，我们在
在 Kedro 管道中，节点(类似于 python 函数)是按顺序声明的。在某些情况下，一个节点的输入是前一个节点的输出。但是，有时在命令行中调用 kedro run API 时，节点不会按顺序运行。
在 IO section of the kedro API docs我找不到相关功能。存储经过训练的模型(例如 .pkl、.joblib、ONNX、PMML)？我错过了什么吗？ 最佳答案 有pickl
我想通过命令行控制kedro参数。 根据docs ，kedro可以指定运行时参数，如下: kedro run --params key:value > {'key': 'value'} 它有效。以同样
将 kedro 与 MongoDB 或其他文档数据库结合使用的最佳实践是什么？例如，MongoDB 没有类似于 SQL 的查询语言。 Python 中的大多数 Mongo“查询”(使用 PyMongo
我有数百个 CSV 文件要类似地处理。为简单起见，我们可以假设它们都在 ./data/01_raw/ 中。 (如 ./data/01_raw/1.csv 、 ./data/02_raw/2.csv )
我启动了 ipython session 并尝试加载数据集。 我正在运行 df = Catalog.load("test_dataset") 遇到以下错误 NameError:名称“目录”未定义 我也
我目前正在使用 kedro，版本 0.15.4 和 pipenv，版本 2018.11.26。 目前，如果我想使用 Pipenv ，我必须执行以下操作(对于本示例，我希望该项目驻留在 kedro-pi
我的管道发出大量 HTTP 请求。这不是一个 CPU 密集型操作，我想旋转比 CPU 内核数量更多的进程。我该如何更改？ 最佳答案 ParallelRunner 支持 max_workers 参数，但
我们使用的是 kedro 版本 0.15.8，我们以这种方式从目录中加载一个特定项目: from kedro.context import load_context get_context().cat
我在我阅读和处理的 S3 存储桶中有多个文本文件。因此，我在 Kedro 数据目录中定义了 PartitionedDataSet，如下所示: raw_data: type: Partitioned
我是一名优秀的程序员,十分优秀！