apache-flink - Apache 弗林克 : How can I create a parallel JDBC InputFormat?-6ren

apache-flink - Apache 弗林克 : How can I create a parallel JDBC InputFormat?

转载作者：行者123 更新时间：2023-12-04 04:45:31

25

4

有一个名为flink-jdbc的模块只支持基于非并行元组类型的JDBC InputFormat。

为了为 JDBC 使用并行的 InputFormat，似乎需要通过实现接口(interface)来自定义:org.apache.flink.core.io .InputSplit.

那么在我的例子中，我如何自定义实现 JdbcInputSplit 以从数据库并行查询数据？

最佳答案

Apache Flink 不提供并行的 JDBC InputFormat。所以你需要自己实现一个。您可以使用非并行 JDBC InputFormat 作为起点。

为了并行查询数据库，您需要将查询拆分为多个查询，覆盖结果集的非重叠(理想情况下大小相同)部分。这些较小的查询中的每一个都将包装在 InputSplit 中并传递给输入格式的并行实例。

拆分查询是具有挑战性的部分，因为它取决于查询和数据。所以你需要一些元信息来提出好的拆分。您可能希望将此委托(delegate)给输入格式的用户，并请求一组查询而不是单个查询。您还应该检查查询的数据库是否比单个查询更好地处理并行请求。

关于apache-flink - Apache 弗林克 : How can I create a parallel JDBC InputFormat?，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/34959147/

25

4

0

文章推荐： macos - OSX 终端选项卡/Windows

文章推荐： sitefinity-5 - Sitefinity 多个用户的一个用户名

文章推荐： sybase - 如何列出 Sybase 中的所有用户表及其行数？

文章推荐： apache-spark - .select() 到底做了什么？

c# - : test-create, try-create、create-catch 哪种设计最可取？
假设有一个创建用户的操作。如果存在指定的电子邮件或用户名，此操作可能会失败。如果它失败了，则需要确切地知道原因。在我看来，有三种方法可以做到这一点，我想知道是否有明显的赢家。所以，这是一个类用户:
javascript - Object.create 与 Object.create() 与 Object.create(null)
var obj1 = Object.create; console.log(typeof obj1); var obj2 = Object.create(null); console.log(type
getting this error after building the ts files yield User.create({ ^ TypeError: Cannot read properties of undefined (reading 'create')(在生成ts文件后获得此错误将产生User.create({^TypeError：无法读取未定义的属性(正在读取‘Create’)))
I am getting this error after running npm run build yield User.create({^在运行NPM Run Build Year Use
javascript - Object.create(Object.prototype) , Object.create(Object) 和 Object.create(null) 之间的区别
我应该为其他人将从中继承的第一个父对象传递哪个参数，哪个参数更有效 Object.create(Object.prototype) Object.create(Object) Object.creat
sql-server - SQL Server : Syntax near keyword 'CREATE' when batch executing CREATE SCHEMA and CREATE TABLE
我正在尝试使用 JDBC(最新版本)设置 SQL Server 2008 数据库。我有一个我想一起执行的 setup sql 命令列表: 基本上我做的是: connection.setAutoCom
amazon-web-services - AWS : create json template to create auto scaling group to create 2 EC2 instances
我正在尝试创建一个 CloudFormation 模板来创建一个 Auto Scaling 组，以便我可以从中启动 2 个实例。我已经创建了 Auto Scaling 组，但我不知道如何编写用于从
While creating loop carousel with elementor pro, "create a template" button does not allow me to create a template(当用elementor Pro创建循环旋转木马时，“创建模板”按钮不允许我创建模板)
我正在创建我的第一个WordPress网站。我已经在我的网站上安装了Elementor Pro插件。随之而来的一个有利因素是“循环旋转木马”。。。当我把它添加到我的页面时，一切似乎都在工作，但是当我点
create-react-app - create-react-app中的ENOSPC错误
create-react-app error 我从终端运行yarn start时收到此错误消息...我尝试了sudo killall node和许多其他过程来清除i-node却没有成功。我也将我的c
workflow - "Created On"和 "Record Created On"之间的区别
在 CRM 中，当我尝试设置工作流程时，我可以选择与某个实体的创建时间相关的超时。涉及三个字段。记录创建于创建于修改时间虽然最后一个很明显，但我看不出其他两个之间有任何逻辑上的区别。最佳答案
create-react-app - create-react-app创建的package.json中browserslist的意义是什么
我在一次采访中被问到这个问题。我无法回答。 "browserslist": [ ">0.2%", "not dead", "not ie <= 11", "not op_mini all" ] 我可以
ruby-on-rails - Rails .create() 与 controller#create
这是一个 Rails 新手问题: 当我在模型上调用 create() 时，它会绕过关联的 Controller create 操作吗？例如，这没有命中我的标签 Controller #create
oracle - CREATE TABLE 和 CREATE ANY TABLE 权限的区别
我不明白这两种特权之间的区别。我找到了这两种解释，但对我没有帮助。 CREATE TABLE -> Enables a user to create a table owned by that us
Sharepoint 工作流创建任务属性 : when to create fields and when to create depepndency properties?
我是 SharePoint 工作流的新手。创建新任务并分配 TaskId 时，我有两个选项: 创建一个新字段来保存 TaskId 创建一个新属性来保存 TaskId。新属性是一个依赖属性。我的问
delphi - TDataModule 后代 'created' 没有 .Create 但没有问题？
我突然注意到我们的代码库中有一个TDataModuleTestExchange(nil)“构造函数调用”: procedure TDialoogConfigExchange.ButtonTestCli
delphi - 我可以使用 .Create(Nil) 而不是 .Create(Application)
我有一个具有 TComponent 变量的单元，我在单元初始化时创建此组件，如下所示: var XComp: TComponent; . . . . initialization begin
php - Composer : Updating a Project Created with `create-project`
Composer 是否提供了更新项目创建时使用的包的方法？即，如果我使用以下内容创建一个新的 Laravel 项目 composer create-project --prefer-dist lara
java - hbm2ddl.auto= create/create-drop 也会删除数据吗？
在 Hibernate 中，如果我们将 hbm2ddl.auto 设置为 create/create-drop ，那么它将在启动时删除旧模式并创建新模式。这意味着，它也会删除数据？..我的疑问是，如果
Dockerhub Create Automated Build 步骤卡在“Creating”处
我使用了 create an Automated Build 中的此链接 ( this guide ) . 浏览器错误控制台显示: https://hub.docker.com/v2/reposito
sql - CREATE PROC 和 CREATE PROCEDURE 有什么区别？
我已经搜索了 msdn 并没有找到答案。我应该知道有什么区别吗？如果真的没有区别，那么为什么会存在这种冗余？ --SQL Server Stored Procedure Syntax CREATE
javascript - "create"指定主 "create"时不使用嵌套对象的 KO 映射选项
我有以下内容: var CardViewModel = function (data) { ko.mapping.fromJS(data, {}, this); this.editin

首页

博学

6Ren·AI

商城

apache-flink - Apache 弗林克 : How can I create a parallel JDBC InputFormat?