数据应用开发管理框架 DataSphereStudio1.0.0 正式发版

微众开源
 微众开源
发布于 2021年09月23日
收藏 10

【里程碑】DataSphereStudio1.0.0 正式发布

DataSphereStudio 1.0.0 是践行数据应用开发管理框架的里程碑,带来了一系列强大的全新特性和高可扩展、低耦合的数据应用开发集成架构设计和实现。

DSS1.0.0主要特性如下:

  1. 全新的UI界面。对DSS前端的UI交互进行大调整,并邀请了天翼云大数据平台王小刚团队的UI设计师周聪量身设计了全新UI视觉稿,极大提升了开发套件的用户产品化使用体验。
  2. 全新架构体系。第三方系统接入DSS的连接器插件AppConn(主要由三大接入规范AppStandard组成)、DSS编排模式Orchestrator和DSS框架等架构,为DSS提供强大的数据应用集成开发框架能力。
  3. DSS工作流上下文能力。这是DSS1.0的重磅级能力,上游节点的结果集支持作为临时表,直接提供给下游进行使用。比如:上游一个SQL节点的结果集,下游的SQL节点可以直接进行select使用。
  4. 导入导出能力。DSS1.0的另一大重磅级能力。导入导出解决了第三方组件一个节点多次导出导入时的重名问题、版本问题、各种物料的同步等多个复杂问题,同时还解决了上下文能力的同步问题。该特性为大家做开发/生产的完全隔离提供了技术支持。
  5. DataApiService(数据API服务)。数据Api服务是基于艾佳生活大数据平台张荣团队贡献的PR,再次二开优化出的版本,目前支持将Scriptis的一个SQL脚本发布为一个数据Api服务,对外提供RestAPI能力。
  6. 工作空间管理。强化了工作空间的管理能力,提供了用户管理和角色权限管理能力。
  7. 协同开发能力。DSS工程允许用户为一个工程设置编辑权限和查看权限,多个用户可以并行操作同一条工作流。

缩略用语:

DSS: DataSphereStudio


新特性

Framework

  • DSS-364 [DSS-Framework] 提供DSS框架模块的通用类。
  • DSS-365 [DSS-Framework] 为DSS-Orchestrator提供框架层的管理能力。
  • DSS-366 [DSS-Framework] 为DSS-Project提供框架层的管理能力。
  • DSS-367 [DSS-Framework] 为DSS的工作空间提供框架层的管理能力。
  • DSS-368 [DSS-Framework] 增强框架的能力,提供DSS-Orchestrator发布到第三方应用工具的功能。
  • DSS-369 [DSS-Framework] 为框架层定义通用功能模块。

Orchestrator

  • DSS-352 [DSS-Orchestrator] 为Orchestrator定义通用功能模块。
  • DSS-353 [DSS-Orchestrator] 新增Orchestrator与第三方应用互相转换的转换规范。
  • DSS-354 [DSS-Orchestrator] 新增Orchestrator的核心接口和默认顶级子类。
  • DSS-355 [DSS-Orchestrator] 为Orchestrator提供数据库持久化能力。
  • DSS-356 [DSS-Orchestrator] 新增加载和管理Orchestrator实例的能力。

DSS-Workflow

  • DSS-349 [DSS-Workflow] 新增DSS工作流的通用功能模块。
  • DSS-350 [DSS-Workflow] 新增DSS工作流与第三方调度系统互相转换的转换规范。
  • DSS-361 [DSS-Workflow] 新增DSS工作流SDK模块,用于提供工作流的解析、构建能力
  • DSS-362 [DSS-Workflow] 增强DSS工作流模块的执行能力,以适配DSS1.0.0的全新架构

AppStandard

  • DSS-370 [DSS-Standard] 定义DSS集成第三方应用的三级开发流程接入规范DevelopmentStandard。
  • DSS-371 [DSS-Standard] 提供DSS AppStandard的通用功能模块。
  • DSS-372 [DSS-Standard] 定义DSS集成第三方应用的二级组织结构接入规范StructureStandard。
  • DSS-373 [DSS-Standard] 定义DSS集成第三方应用的一级SSO免密跳转接入规范SSOStandard。

AppConn

  • DSS-351 [DSS-AppConn] 新增第三方应用接入DSS1.0.0的三大接入规范AppStandard。
  • DSS-357 [DSS-AppConn] 新增AppConn核心接口和默认顶级子类。
  • DSS-358 [DSS-AppConn] 新增DSS1.0.0 AppConn类加载和实例化模块。
  • DSS-359 [DSS-AppConn] 新增Scheduler AppConn抽象层,用于对接第三方调度系统。
  • DSS-360 [DSS-AppConn] 新增Linkis的AppConnEngineConn插件,支持第三方节点的执行。
  • DSS-363 [DSS-AppConn] 新增AppConn和AppInstance持久化数据库的能力。
  • DSS-377 [DSS-AppConn] 新增Appconn的通用功能模块

数据API服务

  • DSS-395 [DSS-ApiService] 新增数据API服务

Web 前端

  • DSS-376 [DSS-Web] 新增DSS1.0.0的全新前端界面。

功能增强

  • DSS-347 [DSS-Workflow] 增强DSS工作流实时执行能力,适配DSS1.0.0的新架构。
  • DSS-348 [DSS-Workflow] 增强DSS工作流节点执行能力,适配DSS1.0.0的新架构。
  • DSS-362 [DSS-Workflow] 增强DSS工作流微模块的功能,适配DSS1.0.0的新架构
  • DSS-381 [DSS-DataPipe] 提供Hive数据表导入导出能力
  • DSS-388 [DSS-Package] 优化DSS1.0.0的打包部署模块
  • DSS-390 [DSS-Config] 更新配置文件和数据库脚本文件
  • DSS-393 [DSS-ContextService] 添加一个接口以获取ContextID

Bugs 修复

  • DSS-385 [DSS-Package] 优化DSS1.0.0 assembly模块的打包方式
  • DSS-389 [DSS-Package] 优化DSS1.0.0配置文件和数据库脚本文件
  • DSS-396 [DSS-Package] 删除一些无用的代码并解决编译问题
  • DSS-399 [DSS-Package] 优化应用程序启动脚本

贡献者

DSS 1.0.0的发布与DSS社区的贡献者密不可分。感谢所有社区贡献者!


编译版本

  1. 腾讯云:

DSS-1.0.0 Compiled (.tar.gz)

本站文章除注明转载外,均为本站原创或编译。欢迎任何形式的转载,但请务必注明出处,尊重他人劳动共创开源社区。
转载请注明:文章转载自 开源中国社区 [http://www.oschina.net]
本文标题:数据应用开发管理框架 DataSphereStudio1.0.0 正式发版
加载中
返回顶部
顶部