- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我正在尝试使用 gobblin 从 mysql 到 hdfs 数据摄取。使用以下步骤运行 mysql-to-gobblin.pull 时:
1)启动hadoop:
sbin\start-all.cmd
2)启动mysql服务:
sudo service mysql start
3) 设置 GOBBLIN_WORK_DIR:
export GOBBLIN_WORK_DIR=/mnt/c/users/name/incubator-gobblin/GOBBLIN_WORK_DIR
4) 设置 GOBBLIN_JOB_CONFIG_DIR
export GOBBLIN_JOB_CONFIG_DIR=/mnt/c/users/name/incubator-gobblin/GOBBLIN_JOB_CONFIG_DIR
5) 独立启动
bin/gobblin.sh service standalone start --jars /mnt/C/Users/name/incubator-gobblin/build/gobblin-sql/libs/gobblin-sql-0.15.0.jar
出现以下错误
ERROR [JobScheduler-0] org.apache.gobblin.scheduler.JobScheduler$NonScheduledJobRunner 637 - Failed to run job GobblinMySql
org.apache.gobblin.runtime.JobException: Failed to run job GobblinMySql
Caused by: java.lang.ClassNotFoundException: org.apache.gobblin.source.extractor.extract.jdbc.MysqlSource
下面是 mysql-to-gobblin.pull 文件
# Job properties
job.name=GobblinMySql
job.group=MySql
job.description=Data pull from MySql
# Extract properties
extract.table.type=snapshot_only
extract.table.name=user
# Property to consider the extract as full dump
extract.is.full=true
# Source properties
# Source properties - source class to extract data from Mysql Source
source.class=org.apache.gobblin.source.extractor.extract.jdbc.MysqlSource
# Source properties
source.max.number.of.partitions=1
source.querybased.partition.interval=1
source.querybased.is.compression=true
source.querybased.watermark.type=timestamp
# Converter properties - Record from mysql source will be processed by the below series of converters
converter.classes=gobblin.converter.avro.JsonIntermediateToAvroConverter
# date columns format
converter.avro.timestamp.format=yyyy-MM-dd HH:mm:ss'.0'
converter.avro.date.format=yyyy-MM-dd
converter.avro.time.format=HH:mm:ss
# Qualitychecker properties
qualitychecker.task.policies=gobblin.policies.count.RowCountPolicy,gobblin.policies.schema.SchemaCompatibilityPolicy
qualitychecker.task.policy.types=OPTIONAL,OPTIONAL
# Publisher properties
data.publisher.type=gobblin.publisher.BaseDataPublisher
source.querybased.schema=praveen_schema
source.entity=user
source.querybased.extract.type=snapshot
writer.builder.class=org.apache.gobblin.writer.SimpleDataWriterBuilder
writer.file.path.type=tablename
writer.destination.type=HDFS
writer.output.format=txt
data.publisher.type=org.apache.gobblin.publisher.BaseDataPublisher
mr.job.max.mappers=1
metrics.reporting.file.enabled=true
metrics.log.dir=/gobblin-kafka/metrics
metrics.reporting.file.suffix=txt
bootstrap.with.offset=earliest
fs.uri=hdfs://localhost:9000
writer.fs.uri=hdfs://localhost:9000
state.store.fs.uri=hdfs://localhost:9000
mr.job.root.dir=/gobblin-kafka/working
state.store.dir=/gobblin-kafka/state-store
task.data.root.dir=/jobs/kafkaetl/gobblin/gobblin-kafka/task-data
data.publisher.final.dir=/gobblintest/job-output
我正在从 /mnt/c/users/name/incubator-gobblin/build/gobblin-distribution/distributions/gobblin-dist
运行此命令目录。
我需要在这里做哪些改变?我该如何解决它?
最佳答案
解决方案是添加此 jar 或依赖项以摆脱 Caused by: java.lang.ClassNotFoundException: org.apache.gobblin.source.extractor.extract.jdbc.MysqlSource
<dependency>
<groupId>com.linkedin.gobblin</groupId>
<artifactId>gobblin-core</artifactId>
<version>0.8.0</version>
</dependency>
从此 mvn 下载 jar website .
希望这有帮助。
关于java - Gobblin:java.lang.ClassNotFoundException:org.apache.gobblin.source.extractor.extract.jdbc.MysqlSource,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60350951/
本文整理了Java中org.schabi.newpipe.extractor.services.youtube.extractors.YoutubeSearchExtractor类的一些代码示例,展示
本文整理了Java中org.schabi.newpipe.extractor.services.youtube.extractors.YoutubeStreamExtractor类的一些代码示例,展示
本文整理了Java中org.schabi.newpipe.extractor.services.youtube.extractors.YoutubeTrendingExtractor类的一些代码示例,
本文整理了Java中org.schabi.newpipe.extractor.services.youtube.extractors.YoutubePlaylistExtractor类的一些代码示例,
本文整理了Java中org.schabi.newpipe.extractor.services.youtube.extractors.YoutubeSubscriptionExtractor类的一些代
本文整理了Java中org.schabi.newpipe.extractor.services.youtube.extractors.YoutubeTrendingExtractor.getUrl()
本文整理了Java中org.schabi.newpipe.extractor.services.youtube.extractors.YoutubePlaylistExtractor.getServi
本文整理了Java中org.schabi.newpipe.extractor.services.youtube.extractors.YoutubeSubscriptionExtractor.()方法
本文整理了Java中org.schabi.newpipe.extractor.services.youtube.extractors.YoutubeChannelExtractor.fetchPage
本文整理了Java中org.schabi.newpipe.extractor.services.youtube.extractors.YoutubePlaylistExtractor.getUrl()
本文整理了Java中org.schabi.newpipe.extractor.services.youtube.extractors.YoutubeChannelExtractor.getName()
本文整理了Java中org.schabi.newpipe.extractor.services.youtube.extractors.YoutubeTrendingExtractor.getNextP
本文整理了Java中org.schabi.newpipe.extractor.services.youtube.extractors.YoutubeSearchExtractor.getUrl()方法
本文整理了Java中org.schabi.newpipe.extractor.services.youtube.extractors.YoutubeStreamExtractor.getSubtitl
有什么方法可以使用由动态变量(例如 ${var})组成的正则表达式来设置正则表达式提取器。 问的理由是因为我的测试计划的一部分是从html响应中获取某个用户帐户的用户ID,因此后续Jmeter将继续以
我刚刚发现我的提取器中的 unapply 出于某种原因被调用了两次。任何人都知道为什么,以及如何避免它? val data = List("a","b","c","d","e") object Uap
我正在尝试遍历目录中的 50 多个文件。每个文件都有一些文本,我正在尝试使用 Yahoo Term Extractor 查找关键字.我能够从每个文件中提取文本,但我无法使用文本作为输入来迭代调用 AP
构造器模式和抽取器模式匹配有什么区别?在 Programming in Scala 中,作者区分了第 15 章中讨论的构造函数模式和第 26 章中讨论的提取器模式。 构造函数模式的例子: abstra
下面是示例 XML 片段,我试图从中筛选出符合以下两个条件的文章的 ID。目前,我可以在下面的表达式的帮助下为个别情况提取 ID 获取可用文章,Xpath2 表达式 = (//*//*//*//*[s
是否可以创建一个可以使用的 Extractor 对象,例如: val x = 42 x match { case GreaterThan(80) => println("5") case Gr
我是一名优秀的程序员,十分优秀!