DataSphere Studio(简称DSS)是微众银行自研的一站式数据应用开发管理门户。
基于插拔式的集成框架设计,及计算中间件 Linkis ,可轻松接入上层各种数据应用系统,让数据开发变得简洁又易用。
在统一的UI下,DataSphere Studio以工作流式的图形化拖拽开发体验,将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出应用等,数据应用开发全流程场景需求。
DSS通过插拔式的集成框架设计,让用户可以根据需要,简单快速替换DSS已集成的各种功能组件,或新增功能组件。
借助于 Linkis 计算中间件的连接、复用与简化能力,DSS天生便具备了金融级高并发、高可用、多租户隔离和资源管控等执行与调度能力。
DSS主要特点:
一、一站式、全流程的应用开发管理界面
DSS集成度极高,目前已集成的系统有:
1、数据开发IDE工具——Scriptis
2、数据可视化工具——Visualis(基于宜信Davinci二次开发)
3、数据质量管理工具——Qualitis
4、工作流调度工具——Azkaban
DSS插拔式的框架设计模式,允许用户快速替换DSS已集成的各个Web系统。如:将Scriptis替换成Zeppelin,将Azkaban替换成DolphinScheduler。
二、基于Linkis计算中间件,打造独有的AppJoint设计理念
AppJoint,是DSS可以简单快速集成各种上层Web系统的核心概念。
AppJoint——应用关节,定义了一套统一的前后台接入规范,可让外部数据应用系统快速简单地接入,成为DSS数据应用开发中的一环。
DSS通过串联多个AppJoint,编排成一条支持实时执行和定时调度的工作流,用户只需简单拖拽即可完成数据应用的全流程开发。
由于AppJoint对接了Linkis,外部数据应用系统因此具备了资源管控、并发限流、用户资源管理等能力,且允许上下文信息跨系统级共享,彻底告别应用孤岛。
三、Project级管理单元
以Project为管理单元,组织和管理各数据应用系统的业务应用,定义了一套跨数据应用系统的项目协同开发通用标准。
四、已集成的数据应用组件
DSS通过实现多个AppJoint,已集成了丰富多样的各种上层数据应用系统,基本可满足用户的数据开发需求。
用户如果有需要,也可以轻松集成新的数据应用系统,以替换或丰富DSS的数据应用开发流程。
1、DSS的调度能力——Azkaban AppJoint
2、数据开发——Scriptis AppJoint
3、数据可视化——Visualis AppJoint
4、数据质量——Qualitis AppJoint
5、数据发送——Sender AppJoint
6、信号节点——Signal AppJoint
7、功能节点
8、节点扩展