个人中心
文章发布
退出
作者热门文章
- VisualStudio2022插件的安装及使用-编程手把手系列文章
- pprof-在现网场景怎么用
- C#实现的下拉多选框，下拉多选树，多级节点
- 【学习笔记】基础数据结构：猫树
62
4
《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，全书共分10章，第1章主要让读者认识数据资产，了解数据资产相关的基础概念，以及数据资产的发展情况。第2～8章主要介绍大数据时代数据资产管理所涉及的核心技术，内容包括元数据的采集与存储、数据血缘、数据质量、数据监控与告警、数据服务、数据权限与安全、数据资产管理架构等。第9～10章主要从实战的角度介绍数据资产管理技术的应用实践，包括如何对元数据进行管理以发挥出数据资产的更大潜力，以及如何对数据进行建模以挖掘出数据中更大的价值.
图书介绍：数据资产管理核心技术与应用 。
今天主要是给大家分享一下第四章的内容:
第四章的标题为数据质量的技术实现 。
内容思维导图如下:
本文是接着 。
继续往下介绍 。
4、 常见的开源数据质量管理平台 。
4.1、 Apache Griffin 。
Apache Griffin 是一个开源的大数据质量管理系统，底层是基于Hadoop和Spark实现的，支持批处理和流处理模式两种数据质量检测方式，官方网址为：https://griffin.apache.org/，如下图所示，是Apache Griffin 官方地址https://griffin.apache.org/docs/quickstart-cn.html中提供的架构图.
Apache Griffin 的源代码github地址为https://github.com/apache/griffin 《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，作者为张永清等著 。
从架构图中可以看到 。
如下图所示，Apache Griffin 的架构图刚好是可以对应到我们前面的数据质量采集流程的.
另外Apache Griffin 也是支持容器化部署的，相关部署介绍请参考：https://github.com/apache/griffin/blob/master/griffin-doc/docker/griffin-docker-guide.md 。
Apache Griffin 的主要技术栈和开发语言包括 。
其核心技术架构如下图所示。《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，作者为张永清等著 。
从图中可以看到其核心技术是通过SpringBoot+Spark来实现的.
4.2、 Qualitis 。
Qualitis是一个支持多种异构数据源的数据质量监测平台，其设计初衷是用于解决业务系统运行、数据中心建设及数据治理过程中的遇到的各种数据质量问题.
如下图所示，是Qualitis官方地址https://github.com/WeBankFinTech/Qualitis/blob/master/docs/zh_CN/ch1/%E6%9E%B6%E6%9E%84%E8%AE%BE%E8%AE%A1%E6%96%87%E6%A1%A3.md#21-%E6%80%BB%E4%BD%93%E6%9E%B6%E6%9E%84%E8%AE%BE%E8%AE%A1中提供的架构图.
从架构图中可以看到也是包含了质量规则配置、质量任务管理和质量数据采集、质量数据存储和分析等这些核心模块.
在Qualitis官方网址中也提供了总体模块设计图，其模块设计图也是刚好可以对应到我们前面的数据质量采集流程，如下图所示。《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，作者为张永清等著 。
可以看到数据质量采集的流程其实不管在哪个开源的数据质量平台中，都几乎是一样的，都需要包括 。
最后此篇关于《数据资产管理核心技术与应用》读书笔记-第四章：数据质量的技术实现（三）的文章就讲到这里了,如果你想了解更多关于《数据资产管理核心技术与应用》读书笔记-第四章：数据质量的技术实现（三）的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
62
4
0
OkHttp的作用 OkHttp is an HTTP client。 如果是HTTP的方式想得到数据，就需要我们在页面上输入网址，如果网址没有问题，就有可能返回对应的String字符串，如果这个地址
Record 一个重要的字符串算法，这是第三次复习。 通过总结我认为之所以某个算法总是忘记，是因为大脑始终没有认可这种算法的逻辑（也就是脑回路）。 本篇主要讲解从KMP的应用场景，
SQL 注入基础 【若本文有问题请指正】 有回显 回显正常 基本步骤 1. 判断注入类型 数字型 or 字符型 数字型【示例】：
标签： #Prompt #LLM 创建时间：2023-04-28 17:05:45 链接： 课程（含JupyterNotebook） ， 中文版 讲师： An
Swift是供iOS和OS X应用编程的新编程语言，基于C和Objective-C，而却没有C的一些兼容约束。Swift采用了安全的编程模式和添加现代的功能来是的编程更加简单、灵活和有趣。界面则基于
红日靶机(一)笔记 概述 域渗透靶机，可以练习对域渗透的一些知识，主要还是要熟悉 powershell 语法，powershell 往往比 cmd 的命令行更加强大，而很多渗透开源的脚本都是 po
八大绩效域详细解析 18.1 干系人绩效域 跟干系人所有相关的活动. 一、预期目标 ①与干系人建立高效的工作关系 ②干系人认同项目目标 ③支持项目的干系人提高
18.3 开发方法和生命周期绩效域 跟开发方法,项目交付节奏和生命周期相关的活动和职能. 一、预期目标: ①开发方法与项目可交付物相符合； ②将项目交付与干系人价值紧密
18.7 度量绩效域 度量绩效域涉及评估项目绩效和采取应对措施相关的活动和职能度量是评估项目绩效，并采取适当的应对措施，以保持最佳项目绩效的过程。 一、 预期目标: ①对项目状况
pygraphviz 安装，windows系统： 正确的安装姿势： Prebuilt-Binaries/PyGraphviz at master · CristiFati/Prebuilt-Binar
今天给大家介绍IDEA开发工具如何配置devtools热加载工具。 1、devtools原理介绍 spring-boot-devtools是spring为开发者提供的热加载
一 什么是正则表达式 // 正则表达式(regular expression)是一个描述字符模式的对象; // JS定义RegExp类表示正则表达式; // String和RegExp都定义了使用
目前是2022-04-25 23:48:03，此篇博文分享到互联网上估计是1-2个月后的事了，此时的OpenCV3最新版是3.4.16 这里前提是gcc，g++，cmake都需要安装好。 没安装好的，
一、概述 1、Flink 是什么 Apache Flink is a framework and distributed processing engine for stateful comput
一、window 概述 Flink 通常处理流式、无限数据集的计算引擎，窗口是一种把无限流式数据集切割成有限的数据集进行计算。window窗口在Flink中极其重要。 二、window 类型 w
一、触发器（Trigger） 1.1、案例一 利用global window + trigger 计算单词出现三次统计一次（有点像CountWindow） 某台虚拟机或者mac 终端输入：nc -
一、时间语义 在Flink 中涉及到三个重要时间概念：EventTime、IngestionTime、ProcessingTime。 1.1、EventTime EventTime 表示日志事
一、概述 以wordcount为例，为什么每次输入数据，flink都能统计每个单词的总数呢？我们都没有显示保存每个单词的状态值，但是每来一条数据，都能计算单词的总数。事实上，flink在底层维护了每
一、概述 checkpoint机制是Flink可靠性的基石，可以保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时，能够将整个应用流图的状态恢复到故障之前的某一状态，保 证应用流图状
一、standalone 部署模式 1、下载安装包 下载安装包地址 有两种安装包类型： 第一种是带 Hadoop依赖的（整合YARN） 第二种是不带 Hadoop依赖的（Standalone模式）
我是一名优秀的程序员,十分优秀！