个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
27
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章架构设计：数据服务系统0到1落地实现方案由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
1、基于业务 。
数据服务通常有很多种业务模式，也就导致系统的架构与业务都会很复杂，不同的业务都具有自身的能力和复杂度，数据管理本身就是一件不容易的事情，所以在系统架构初期都会考虑服务能力的业务场景:
API服务：基于Http模式的数据服务，通过请求获取数据，例如风控模型，评分，反欺诈等各种业务,
平台服务：综合性的服务能力集成系统，客户的自定义服务需求很低，具有完整流程的数据服务能力，例如自动化数字营销平台，提供营销的全流程管理能力,
采集服务：通常客户以埋点的方式提交相关点击事件，采集系统基于全渠道进行汇总分析并向客户反馈,
可视化分析：这里分为两大块，数据分析与可视化，数据可以加载多方数据源联合分析，基于前端组件做高度自动化分析，例如常见的数据洞察系统,
工具私有化：基于积累的技术能力，把数据管理的系统直接销售给客户，部署在客户自己本地的服务上,
数据服务的场景，不同的业务需要各自场景下的数据支撑，但是不同的业务都需要相同的运营，结算，订单等基础功能，理解不同的业务场景，需要找出共同点与不同点，很简单的思路：相同点在公共服务中开发，业务不同点在独立的服务中开发，方便系统的不断扩展与演进.
2、业务层架构 。
不同的数据服务能力，最大的不同点就是需要依赖核心数据的支撑，从业务层面看系统架构层，还需要的功能复杂公共功能，这些需要在架构初期就考虑好，不然随着业务发展很快就要面临重构问题.
客户运营：每个客户的接入都需要一套完整的流程，服务说明，计费规则，合同管理，充值，服务开通停用，账单等一系列配套功能，通常都有两个入口：客户登录端，服务方运营端.
支付结算：功能最复杂的系统模块，提供支付能力，例如聚合多个支付渠道，用来解决客户的充值退款，或者服务方自己的支付需求，并提供各种结算账单的数据输出，对账平账能力.
订单管理：客户的每次请求，或者每个服务的使用，产生的计费动作都需要详细的订单记录，涉及单价，单号，时间很多关键因素，作为结算的核心依据，也是业务数据最集中爆发的地方.
权限体系：在数据服务体系中，权限系统的设计更侧重解决公司主体层面的需求，不同的商务团队负责不同的服务运营，客户管理等，所以需要清晰的体系化权限管理，给不同的角色的商务人员分配合理的权限.
日志集成：在详细的日志体系中，正常的业务日志数据可以用来在服务异常时的数据补全分析，异常的日志数据可以给开发用来分析系统问题和瓶颈不断的优化服务能力.
基于业务场景做好服务的划分和设计，以及公共服务的基础构建，确保业务层的架构合理且可扩展，是否合理的基本考量就是，不断的新增业务场景是否需要做系统的大刀阔斧的改版，如果服务能力不断丰富，系统的改造成本很小，自然架构合理.
3、数据中心 。
不同的业务服务场景需要依赖核心数据能力，这是服务卖点，通常会把支撑服务能力的核心数据单独部署并提供各种服务场景，通常理解为数据中心，同时业务服务自身也会产生各种数据，这里会根据服务的部署方式独立存储.
服务能力：数据中心作为多个业务公共依赖，不但要提供数据基础的查询能力，在处理海量数据任务时，还需要提供一定的调度和计算机制.
部署方式：根据数据特点通常会以集群、分库分表、OLAP引擎、数仓等多种方式存储，并根据数据特点提供统一的服务能力对业务层开放.
数据更新：数据是需要实时或者定时更新，数据来源通常是经过大数据计算和处理后的各种数据，还有就是业务层校验有误的数据，或者在使用过程不断优化的数据.
数据中心的独立架构部署是非常有必要的操作，大部分的数据都是具有联动性的，数据间的联动处理完全不用耦合到业务层面，数据的流动校正安全性管理等等都可以在数据中心统一管理，规避掉数据混合部署带来的系列复杂问题.
4、大数据底层 。
数据服务能力的最底层需要海量数据处理的能力做支撑，所以用到很多大数据组件技术，对数据做存储、计算、分析、搬运等等操作.
数据存储：大数据底层最常见的存储就是文件形式，结构化的数据库存储，半结构化的日志型文件，还有一些非结构化数据.
计算能力：对于海量数据的处理需要依赖各种并行计算，离线任务，实时计算等多种方式，达到快速处理的目的.
数据搬运：数据处理完成之后并不会在底层直接提供服务能力，通常会把数据同步到上面数据中心，在对业务提供服务能力，这里搬运可以是数据输出，也可能是待处理的数据输入.
大数据的底层组件则是系统的核心能力，对数据的精准计算分析确保服务的能力，并且不断的对现有架构做自动化和工具化管理，这点非常重要，海量数据管理的流程人工介入越多则说明效率越低下，尤其在底层向数据中心推送数据或者数据接收的过程，需要约定好策略保证数据安全稳定的自动传输.
5、整体考虑 。
对一个复杂系统的设计，首先最关键的就是清晰的整理出业务模式，对业务模式进行分析，根据业务特点做系统架构可以避免很多弯路，例如上面的数据服务系统:
首先从大的层面看，系统拆分业务服务，数据中心，大数据底层能力这三大块，并且要求各个大模块之间不存在强耦合关系，确保模块之间可以独立的扩展,
其次确定各个模块需要的实现的核心功能，业务层保证基本的服务能力，然后把每个业务都需要的基础功能向下抽取封装，拆分出业务服务和公共服务，支撑业务能力,
然后确定各个模块之间协作的方式，例如业务与数据中心的通信能力，接口标准，数据安全等细节，或者数据中心与底层大数据之间的数据搬运模式，确保数据流通能力,
最后各个模块具体的细节实现，这里需要考量的就是根据业务模式，如果可以选择相同的组件和架构方式，尽量统一架构选型和组件依赖，降低不同模块之间的壁垒,
上述完整的系统架构从开始搭建到提供稳定的服务能力，大概耗时七个月的时间，期间不断的演进和升级，并且不断上线新的服务模块并进行系统监控，直至业务服务相对完善和系统相对稳定.
6、源代码地址 。
GitHub地址：知了一笑 。
https://github.com/cicadasmile/spring-cloud-base 。
GitEE地址：知了一笑 。
https://gitee.com/cicadasmile/spring-cloud-base 。
原文地址：https://segmentfault.com/a/1190000039266700?utm_source=tuicool&utm_medium=referral 。
最后此篇关于架构设计：数据服务系统0到1落地实现方案的文章就讲到这里了,如果你想了解更多关于架构设计：数据服务系统0到1落地实现方案的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
27
4
0
我有这个代码: System.err.print("number of terms = "); System.out.println(allTerms.size()); System.err
我有以下问题:在操作系统是 Linux 的情况下和在操作系统是 MacOs 的情况下，我必须执行不同的操作。 所以我创建了以下 Ant 脚本目标: /u
我正在调用 system("bash ../tools/bashScript\"This is an argument!\"&")，然后我正在调用 close(socketFD) 直接在 system
使用最初生成的随机元素来约束随机数组的连续元素是否有效。 例如:我想生成一组 10 个 addr、size 对来模拟典型的内存分配例程并具有如下类: class abc; rand bit[5:0
我正在创建一个必须使用system(const char*)函数来完成一些“繁重工作”的应用程序，并且我需要能够为用户提供粗略的进度百分比。例如，如果操作系统正在为您移动文件，它会为您提供一个进度条，
我即将编写一些项目经理、开发人员和业务分析师会使用的标准/指南和模板。目标是更好地理解正在开发或已经开发的解决方案。 其中一部分是提供有关记录解决方案的标准/指南。例如。记录解决/满足业务案例/用户需
在开发使用压缩磁盘索引或磁盘文件的应用程序时，其中部分索引或文件被重复访问(为了论证，让我们说一些类似于 Zipfian 分布的东西)，我想知道什么时候足够/更好地依赖操作系统级缓存(例如，Debia
我们编写了一个 powershell 脚本，用于处理来自内部系统的图像并将其发送到另一个系统。现在，业务的另一部分希望加入其中，对数据进行自己的处理，并将其推送到另一个系统。打听了一下，公司周围有几个
我正在尝试朗姆酒我的应用程序，但我收到以下错误:System.Web.HttpUnhandledException:引发了“System.Web.HttpUnhandledException”类型的异
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 要求我们推荐或查找工具、库或最喜欢的场外资源的问题对于 Stack Overflow 来说是偏离主题的，
所以我在其他程序中没有收到此错误，但我在这个程序中收到了它。 这个程序是一个我没有收到错误的示例。 #include int main() { system("pause"); } // en
我在 c# System.URI.FormatExption 中遇到问题 为了清楚起见，我使用的是 Segseuil 的 Matlab 方法，并且它返回一个图片路径 result。我想为其他用户保存此
我正在尝试像这样设置文本框的背景色: txtCompanyName.BackColor = Drawing.Color.WhiteSmoke; 它不喜欢它，因为它要我在前面添加系统，例如: txtCo
请帮助我解决 System.StackOverflowException我想用 .aspx 将记录写入数据库我使用 4 层架构来实现这一切都正常但是当我编译页面然后它显示要插入数据的字段时，当我将数据
我使用了一些通常由系统调用的API。 因此，我将 android:sharedUserId="android.uid.system" 添加到 manifest.xml， 并使用来自 GIT 的 And
我正在尝试创建一个小型应用程序，它需要对/system 文件夹进行读/写访问(它正在尝试删除一个文件，并创建一个新文件来代替它)。我可以使用 adb 毫无问题地重新挂载该文件夹，如果我这样做，我的应用
我想从没有 su 的系统 priv-app 将/system 重新挂载为 RW。如何以编程方式执行此操作？只会用 Runtime.getruntime().exec() 执行一个 shell 命令吗
我正在尝试制作一个带有登录系统的程序我对此很陌生，但我已经连续工作 8 个小时试图解决这个问题。这是我得到的错误代码 + ServerVersion 'con.ServerVersion' threw
当我“构建并运行”Code::Blocks 中的程序时，它运行得非常好!但是当我从“/bin”文件夹手动运行它时，当它试图用 system() 调用“temp.bat”时，它会重置。这是为什么？它没有
我想使用 system/pipe 命令来执行具有特殊字符的命令。下面是示例代码。通过系统/管道执行命令后，它通过改变特殊字符来改变命令。我很惊讶地看到系统命令正在更改作为命令传递的文本。 run(ch
我是一名优秀的程序员,十分优秀！