北京中科聚网信息技术有限公司
平台产品
大数据中台.数据共享任务中心

大数据中台.数据共享任务中心

任务中心包括互联网爬虫清单、采集任务管理、爬虫任务汇总管理、AI智能分析任务管理、BI报表任务管理、全文检索任务管理、报告任务管理、kafka主题管理等。

互联网爬虫清单管理是针对库里已有的爬虫程序模板管理,记录爬虫程序名称、文件路径、爬虫文件名称、采集字段等信息、可在线查看爬虫程序。

2021092311551632369343821097546.png


数据共享任务中心 — 采集任务管理

可新建采集任务,设置采集字段、采集频率、入库方式设置数据选择入库,设置完成后任务创建成功。可监控采集任务每天状态、已采集数、正常运行频次等、可随意开启、暂停采集任务。

2021092311581632369492905080569.png

数据共享任务中心 — 爬虫任务监控

监控数据源头的网站状态、爬虫服务器的名称及运行状态。

监控数据入库状态,包括数据库名称、IP地址、主题和进行未进行的任务数量。

2021092311571632369467771007769.png

数据共享任务中心 — AI智能分析任务管理

可新建AI智能分析任务,配置任务分析参数,支持数据增量、全量更新。

2021092311591632369543481050863.png

数据共享任务中心 — BI报表任务管理

可新建BI报表任务,从元数据库里通过sql语句定时处理元数据表数据,为前台展示提供最终的BI展示数据。

2021092312001632369619412032260.png

数据共享任务中心 — 全文检索任务管理


新建全文检索任务,可通过sql语句,用定时任务或实时抽取方式,把数据源数据抽取到ES库,生成最终的全文检索数据。可查看任务类型、任务状态、创建时间、完成任务数、任务运行方式、运行频次等基本情况。

2021092312011632369671073045344.png

数据共享任务中心 — 报告任务管理

新建报告任务,可通过sql语句,用定时任务或实时处理方式,把数据库里元数据分析处理,提供最终的报告所需数据。查看任务类型、任务状态、创建时间、完成任务数、任务运行方式、运行频次等基本情况。

2021092312021632369723108021153.png

数据共享任务中心 — kafka主题管理

实现 kafka 主题的增删改查管理功能。

2021092312021632369774020011349.png

数据共享任务中心 — 任务编排 — 编排概述

不论是传统的构建服务能力共享平台,还是当前构建统一的能力中台服务层,其核心目的都是为了前端应用更加快速的构建,如果前端去做这种复杂组合显然不合适,同时也导致后端业务逻辑泄漏到前端。

而在后端独立一个领域组件处理,本身也很难做到足够的灵活可配置,那么新的需求来的时候领域服务开发本身又是很大的工作量和开发周期,这样很难真正敏捷做到响应业务。

也正是这个原因,提供灵活,可视化的服务组合,服务编排能力将成为整个微服务架构里面细分的一个技术工具发展点。

编排即是将做一件事情分解得到的操作步骤组装和连接在一起,这些步骤间有具体的执行顺序和判断逻辑,同时又进行输入和输出间的数据内部交互。但是这些内部细节对用户不可见,用户仅仅看到编排后展现的粗粒度能力接口。

2021092312031632369830557000616.png

Orchestration(编制)

Orchestration面向可执行的流程:通过一个可执行的流程来协同内部及外部的服务交互,通过流程来控制总体的目标、涉及的操作、服务调用顺序。Orchestration和BPM的思想很相似,首先要有一个流程控制服务,该服务接收请求,依照业务逻辑规则,依次调用各个微服务,并最终完成处理逻辑。可以把控制服务视作BPM引擎,微服务视作BPM的各种组件。Orchestration实现方案多是同步的,因此导致耦合度高。

Choreography(编排)

Choreography面向协作:通过消息的交互序列来控制各个部分资源的交互,参与交互的资源都是对等的,没有集中的控制。Choreography可以看作一种消息驱动模式,或者说是订阅发布模式,每笔业务到来后,各个监听改事件的服务,会主动获取消息,处理,并可以按需发布自己的消息。可以把不同队列看作不同种类的消息,微服务看作消息处理函数。

应用编排

对于应用编排简单来说就是完整的应用托管或部署动作往往涉及到数据库,应用中间件,缓存,消息等多个底层资源,应用部署包能力的提供,同时相互之间还有部署顺序要求。因此应用编排即提供将一个应用完整托管的所有资源安装配置,部署包部署的过程整合在一起形成一个大的流程。

在应用编排设计好后,以后就不用单独再去进行数据库,应用,缓存等中间件一个个的部署任务,而是直接通过应用编排模板一次执行即完成整体部署。

2021092312041632369877001022825.png

业务应用界面+业务流程(BPEL+HWF)+规则(规则引擎)

在流程编排中期望的就是将这些内容串接在一起,完成完整的流程开发。首先仍然是进行前端可视化界面设计和数据模型设计,在完成后将界面对应的事件或操作绑定到后端的API服务能力接口上。其次完整的业务流程除了自动化业务流,还包括了人工审批流,因此需要完全覆盖常规工作流引擎能力。

2021092312051632369900862087507.png

微服务编排

基于Netflix Conductor实现微服务编排。最重要是实现了基本的工作流定义,任务定义,任务的连接,整个工作流的任务调度和监控等基本能力。

包含可视化服务编排设计,但是对于编排完成的模型文件可以展现为可视化的流程图展示,这个也是很多编排软件常用的做法。由于没有可视化设计,当前的输入输出数据项映射也在手工编写流程模板文件的时候完成数据映射工作。并实现前面多个节点的输出朝后续节点传递的需求。

2021092312051632369940125056654.png

数据共享任务中心 — 任务编排 — 创建任务流

任务编排功能提供了强大的任务流和定时调度能力,支持可视化的编辑界面、多种消息通知机制、多种运维操作,满足数据归档、数据集成、数仓数据开发、数据挖掘等需求。

2021092312061632369992458055402.png

数据共享任务中心 — 任务编排 — 编辑任务流

任务编排功能提供了强大的任务流和定时调度能力,支持可视化的编辑界面、多种消息通知机制、多种运维操作,满足数据归档、数据集成、数仓数据开发、数据挖掘等需求。

2021092312071632370033985011536.png

数据共享任务中心 — 实例管理

展示实例类型以及新建实例。在数据库列表页面,可以设置/转交/释放数据库Owner、授予/撤销用户权限、导出配置和导出权限。

2021092312081632370086543057470.png

数据共享任务中心 — 操作审计

方便快速定位、排查数据库问题提供操作审计功能,包含SQL窗口产生的SQL语句列表、工单列表、登录列表、操作日志。

2021092312081632370135650080495.png

北京总部
  • 北京市海淀区大钟寺13号华杰大厦B座3层306-310室
  • 010-56181910
郑州子公司
  • 郑州市紫荆山路56号
石家庄
  • 新华路294号盛安大厦
乌鲁木齐
  • 沙依巴克区黑龙江路146号
呼和浩特
  • 新城区呼伦贝尔北路
Copyright 2011-2022 All Rights Reserved | 京ICP备13013562号

微信号

抖音号