Flume监听oracle表增量的步骤详解-6ren

Flume监听oracle表增量的步骤详解

转载作者：qq735679552 更新时间：2022-09-29 22:32:09

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章Flume监听oracle表增量的步骤详解由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

需求：获取oracle表增量信息，发送至udp514端口，支持ip配置。

步骤:

（1）需要的jar oracle的 odbc5.jar（oracle安装目录 /jdbc/lib下查找）。

（2）flume的开源包flume-ng-sql-source-1.4.3.jar 最新的好像是1.5的小版本记不住了这个下载地址直接csdn上就有。

这两个jar 都拷贝到flume的lib下。

（3）flume配置文件。

 
    ? 
   
         a1.sources = r1 
        
         a1.sinks = k1 
        
         a1.channels = c1 
        
         #接收syslog配置 
        
         #a1.sources.r1.type = syslogudp 
        
         #a1.sources.r1.port = 514 
        
         #a1.sources.r1.host = 0.0.0.0 
        
         ###########sql source################# 
        
         a1.sources.r1.type = org.keedio.flume.source.SQLSource 
        
         a1.sources.r1.hibernate. 
         connection 
         .url = jdbc:oracle:thin:@10.9.224.36:1521/soc 
        
         # Hibernate  
         Database 
         connection 
         properties 
        
         a1.sources.r1.hibernate. 
         connection 
         . 
         user 
         = soc_app 
        
         a1.sources.r1.hibernate. 
         connection 
         . 
         password 
         = soc_app 
        
         a1.sources.r1.hibernate. 
         connection 
         .autocommit =  
         true 
        
         a1.sources.r1.hibernate.dialect = org.hibernate.dialect.Oracle10gDialect 
        
         a1.sources.r1.hibernate. 
         connection 
         .driver_class = oracle.jdbc.driver.OracleDriver 
        
         a1.sources.r1.run.query.delay=1 
        
         a1.sources.r1.status.file.path = /usr/ 
         local 
         /flume 
        
         a1.sources.r1.status.file. 
         name 
         = a1.sqlSource.status 
        
         # Custom query 
        
         a1.sources.r1.start. 
         from 
         =  
         '2017-07-31 07:06:20' 
        
         a1.sources.r1.custom.query =  
         SELECT 
         CHR(39)||TO_CHAR(CREATETIME, 
         'YYYY-MM-DD HH24:MI:SS' 
         )||CHR(39),MSG  
         FROM 
         FLUME_NG_SQL_SOURCE  
         WHERE 
         CREATETIME > TO_DATE($@$, 
         'YYYY-MM-DD HH24:MI:SS' 
         )  
         ORDER 
         BY 
         CREATETIME  
         ASC 
        
         a1.sources.r1.batch. 
         size 
         = 6000 
        
         a1.sources.r1. 
         max 
         . 
         rows 
         = 1000 
        
         a1.sources.r1.hibernate. 
         connection 
         .provider_class = org.hibernate. 
         connection 
         .C3P0ConnectionProvider 
        
         a1.sources.r1.hibernate.c3p0.min_size=1 
        
         a1.sources.r1.hibernate.c3p0.max_size=10 
        
         ###########sql source################# 
        
         #自定义类型 
        
         a1.sinks.k1.type = com.neusoft.utils.SyslogSink 
        
         #配置发送ip 
        
         a1.sinks.k1.destination = 10.9.224.36 
        
         a1.channels.c1.type = memory 
        
         a1.channels.c1.capacity = 10000 
        
         a1.channels.c1.transactionCapacity = 10000 
        
         a1.sources.r1.channels = c1 
        
         a1.sinks.k1.channel = c1 
        
         #启动命令 ./flume-ng agent -c ../conf -f ../conf/flume-sql.conf -n a1 -Dflume.root.logger=INFO,console &

由于是自己定义的sink 在我的博客中也有提到，所以配置了自定义的sink.

总结。

以上所述是小编给大家介绍的Flume监听oracle表增量的步骤详解，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对我网站的支持！。

原文链接：https://blog.csdn.net/yl3395017/article/details/81077276 。

最后此篇关于Flume监听oracle表增量的步骤详解的文章就讲到这里了,如果你想了解更多关于Flume监听oracle表增量的步骤详解的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

文章推荐： Oracle 11g 安装配置图文教程

文章推荐： Window下Oracle Database 11g 发行版2安装教程

文章推荐： maven添加oracle依赖失败问题的处理方法

文章推荐： Oracle 日志挖掘(LogMiner)使用详解

mysql - 同步/流式传输 MySQL 表/表(连接表)与 PostgreSQL 表/表
我有一台 MySQL 服务器和一台 PostgreSQL 服务器。需要从多个表中复制或重新插入一组数据 MySQL 流式传输/同步到 PostgreSQL 表。这种复制可以基于时间(Sync)或事
php - 从用户(表)获取数据其中用户(表)的id等于 friend (表)的id
如果两个表的 id 彼此相等，我尝试从一个表中获取数据。这是我使用的代码: SELECT id_to , email_to , name_to , status_to
sql - Excel 表 SQL 表
我有一个 Excel 工作表。顶行对应于列名称，而连续的行每行代表一个条目。如何将此 Excel 工作表转换为 SQL 表？我使用的是 SQL Server 2005。最佳答案这取决于您使用哪
mysql - 如何将两个django模型(表)合并为一个模型(表)
我想合并两个 Django 模型并创建一个模型。让我们假设我有第一个表表 A，其中包含一些列和数据。 Table A -------------- col1 col2 col3 col
mysql - 表 1、表 2 的多列左连接
我有两个表:table1，table2，如下所示 table1: id name 1 tamil 2 english 3 maths 4 science table2: p
sql - 大传感器数据最佳选择。表 SQL 与 Azure 表
关闭。此题需要details or clarity 。目前不接受答案。想要改进这个问题吗？通过 editing this post 添加详细信息并澄清问题. 已关闭 1 年前。 Improve th
dynamics-ax-2009 - 表=表与表.数据(表)
下面两个语句有什么区别？ newTable = orginalTable 或 newTable.data(originalTable) 我怀疑 .data() 方法具有性能优势，因为它在标准 AX 中
SQL Server 表 -(或可能是任何 SQL 表)没有主键会影响性能吗？
我有一个表，我没有在其中显式定义主键，它并不是真正需要的功能......但是一位同事建议我添加一个列作为唯一主键以随着数据库的增长提高性能...... 谁能解释一下这是如何提高性能的？没有使用索引(
php - 将产品详细信息插入 'product' 表，并将产品图像插入 'image' 表
如何将表“产品”中的产品记录与其不同表“图像”中的图像相关联？我正在对产品 ID 使用自动增量。我觉得不可能进行关联，因为产品 ID 是自动递增的，因此在插入期间不可用! 如何插入新产品，获取产品
python - 创建一个新的 sql 表，其中的列源自另一个 sql 表
我有一个 sql 表，其中包含关键字和出现次数，如下所示(尽管出现次数并不重要): ____________ dog | 3 | ____________ rat | 7 | ____
MySQL LAST_INSERT_ID() 与 INSERT INTO 表 SELECT FROM 表
是否可以使用目标表中的LAST_INSERT_ID更新源表？ INSERT INTO `target` SELECT `a`, `b` FROM `source` 目标表有一个自动增量键id，我想将其
mysql - 查询 - 在简单的 mysql 内连接中定义(表，表)
我正在重建一个搜索查询，因为它在“我看到的”中变得多余，我想知道什么 (albums_artists, artists) ( ) does in join? is it for boosting pe
innodb - mysqldump 备份缺少所有 innodb 表，但没有 MyISAM 表
以下是我使用 mysqldump 备份数据库的开关: /usr/bin/mysqldump -u **** --password=**** --single-transaction --databas
html - 为什么 MySQL 表中的所有行都是相同的？ (MySQL 表 > HTML 表)
我试图获取 MySQL 表中的所有行并将它们放入 HTML 表中: Exam ID Status Assigned Examiner
mysql - 查询 'photos' 表，同时查询 'bookmarks' 表，以便知道添加书签的照片
如何查询名为 photos 的表中的所有记录，并知道当前用户使用单个查询将哪些结果照片添加为书签？这是我的表格: -- -- Table structure for table `photos` -
Mysql MEMORY 表 vs InnoDB 表(很多插入，很少读取)
我的网站都在 InnoDB 表上运行，目前为止运行良好。现在我想知道在我的网站上实时发生了什么，所以我将每个页面浏览量(页面、引荐来源网址、IP、主机名等)存储在 InnoDB 表中。每秒大约有 10
mysql - 如何在 mysql 中存储客户数据(2 表 vs 1 表)
我在想我会为 mysql 准备两个表。一个用于存储登录信息，另一个用于存储送货地址。这是传统方式还是所有内容都存储在一张表中？对于两个表...有没有办法自动将表 A 的列复制到表 B，以便我可以引用
mysql - 表 1 包含名字和姓氏，表 2 包含两列引用表 1 上的名称
我不是程序员，我从这个表格中阅读了很多关于如何解决我的问题的内容，但我的搜索效果不好我有两张 table 表 1:成员 id*| name | surname -------------------
c# - 如何在 ASP.NET 中显示 "View"表(SQL 表)？
我知道如何在 ASP.NET 中显示真实表，例如 public ActionResult Index() { var s = db.StaffInfoDBSet.ToList(); r
php - INSERT INTO 表 VALUES.. 与 INSERT INTO 表 SET 错误
我正在尝试运行以下查询: "insert into visits set source = 'http://google.com' and country = 'en' and ref = '1234

qq735679552

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

Flume监听oracle表增量的步骤详解