个人中心
文章发布
退出
作者热门文章
- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库？
- java - OnItemClickListener 不起作用，但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
25
4
我有不会超过 10 GB 的数据，我需要将它放在分布式缓存中，并为每条记录访问它以从我的 Flink 流应用程序进行验证。哪个最适合这个用例？我对 Hazelcast 和 Redis 感到困惑。
最佳答案
显而易见的解决方案是将这些数据保存在 Flink 状态中，而不是在某些外部系统中。
要更新数据，请从 Flink 支持的任何数据源(例如文件系统或消息队列)流式传输新版本。
关于redis - 用于保持访问配置数据 <10 GB 并从 Flink 流应用程序访问每条记录的最佳分布式缓存？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/52220759/
25
4
0
1.概述 转载：Flink 源码阅读笔记（15）- Flink SQL 整体执行框架 在数据处理领域，无论是实时数据处理还是离线数据处理，使用 SQL 简化开发将会是未来的整体发展趋势。尽管 SQL
1.概述 转载：Flink 源码阅读笔记（6）- 计算资源管理 在 Flink 中，计算资源的是以 Slot 作为基本单位进行分配的。本文将对 Flink 中计算资源的管理机制加以分析。 2.Task
1.概述 转载：Flink jvm参数配置GC日志 生产环境上，或者其他要测试 GC 问题的环境上，一定会配置上打印GC日志的参数，便于分析 GC 相关的问题。 但是可能很多人配置的都不够“完美”，要
1.概述 转载：Flink 源码阅读笔记（20）- Flink 基于 Mailbox 的线程模型 相似文章：【Flink】Flink 基于 MailBox 实现的 StreamTask 线程模型 Fl
1.概述 转载：Flink SQL代码生成与UDF重复调用的优化 2. 代码生成简介 代码生成（code generation）是当今各种数据库和数据处理引擎广泛采用的物理执行层技术之一。通过代码生成
1.概述 转载：面向流批一体的 Flink Runtime 新进展 首先是关于调度部分的性能优化。Flink 由于存在 all to all 的连接关系，两个并发为 n 的算子之间会有 n² 条边，这
在Fink源码中，有flink-stream-java和flink-stream-scala模块。 flink streaming 为什么需要两个模块？ https://github.com/apac
我的要求是在一天内流式传输数百万条记录，并且它对外部配置参数有很大的依赖性。例如，用户可以随时在 Web 应用程序中更改所需的设置，并且在进行更改后，必须使用新的应用程序配置参数进行流式传输。这些是应
我开发了一个 Flink 作业并使用 Apache Flink 仪表板提交了我的作业。根据我的理解，当我提交作业时，我的 jar 应该在 Flink 服务器上可用。我试图找出我的 jar 的路径，但无
我开发了一个 Flink 作业并使用 Apache Flink 仪表板提交了我的作业。根据我的理解，当我提交作业时，我的 jar 应该在 Flink 服务器上可用。我试图找出我的 jar 的路径，但无
1.概述 转载：Flink 源码阅读笔记（4）- RPC 相关文章： 【Flink】Flink 源码之RPC调用 Flink】FLink 通讯组件 RPC 作为一个分布式系统，Flink 内部不同组件
1.概述 转载并且补充： flink keyby 分布不均匀问题 我使用随机数random.nextint(8)作为key，生成keyedstream之后，直接sink到存储中，但是sink算子只有四
1.概述 转载：Flink Sort-Shuffle写流程简析 转载并且补充。 2.配置 taskmanager.network.sort-shuffle.min-parallelism 核心配置。设
1.概述 转载：Flink源码分析——批处理模式Map端数据聚合 在flink的批处理模式下，数据的计算也有着map/reduce两端的计算模型，这一点和MR、spark计算框架是类似的。在数据进行分
1.概述 转载：Flink on yarn 远程调试 大家好，我是 JasonLee。 前几天有小伙伴问我，我写的 Flink 代码是提交到 yarn 上去运行的，那我怎么能远程调试代码呢？在本地调试
当我使用 flink 事件时间窗口时，窗口就是不触发。请问如何解决，有什么debug的方法吗？ 最佳答案 由于您使用的是事件时间窗口，所以很可能是水印问题。该窗口仅在水印取得进展时输出。事件时间没有提
我有一个用例，我想在 Flink 上运行 2 个独立的处理流程。所以 2 个流程看起来像 Source1 -> operator1 -> Sink1 Source2 -> operator2 -> S
我们正在尝试构建一个用例，其中来自流的数据通过计算公式运行，但公式本身也应该(很少)是可更新的。通过阅读文档，在我看来，Flink 广播状态很适合这种情况。 作为实验，我构建了一个简化版本:假设我有一
我有一个 Flink Streaming 作业，它失败了，我得到如下日志。谁能告诉我如何解决这个问题？有时运行一天就失效，有时运行几个小时就失效。 09:30:25 948 INFO (org.ap
我们正在将 spark 作业迁移到 flink。我们在 spark 中使用了 pre-shuffle 聚合。有没有办法在 spark.xml 中执行类似的操作？我们正在使用来自 apache kafk
我是一名优秀的程序员,十分优秀！