大数据解决方案
背景
目前数据应用主要集中在云端,存在数据链路长,业务闭环大、云端与边缘端存在重复开发、数据冗余,以及从数据采集到数据分析链条采用多代码开发,计算资源消耗高,数据分析性能低,页面展示延迟大,维护困难等问题。
整体架构
平台部署在云端,数据源整合结构化数据、非结构化数据以及半结构化数据,涵盖广泛的数据源。数据采集包括批量采集、实时采集和IoT采集。
存储引擎部分结合实际应用管理存储各种类型大数据;计算引擎提供高速计算能力,包括:离线计算、内存计算、流计算和查询计算;资源调度平台提供统一的资源管理与调度。
数据服务可根据不同的业务需求提供数据集服务、API服务、BI数据服务和AI数据服务。
典型场景
OLAP分析场景
业务场景:
海量明细数据的实时OLAP,秒级响应
查询维度灵活多变,无法通过预计算建立Cube
全SQL接口,支持对接各种BI工具
支持分钟级数据写入
实时分析场景
业务场景:
基于实时数据的实时分析场景,一般要求端到端的秒级响应。
支持分钟级数据写入
高并发明细查询场景
业务场景:
基于主键的明细数据检索,一般要求1s内相应;
查询维度灵活多变,无法通过预计算建立Cube
高并发,有可能达到数千甚至上万的并发。