业务异动实时监测分析数据体系及产品设计

为了快速定位业务问题,不能依赖于每次出现问题后思考分析思路,而应该固化已经成熟的排查方案。

背景介绍

  • 最近几月AB业务数据异动情况频现,多次紧急排查,但是效果不佳,主要表现为问题难以定位,耗费过多资源等。
  • AB业务涉及多国家,多站点,多流量来源,结构分析非常复杂,日报数据本身覆盖面不足以判明具体问题。
  • AB管理层希望在业务数据发生异动时,能够24小时内定位问题,做出应对。(目前日报T+2,复杂排查再+N)
  • 对于技术影响,AB管理层也希望能够及时了解网站表现除了在业务上的问题之外,是否受到网站性能的影响。

具体需求

  • 实时监控分析体系需要能够满足数据链的闭环,才能实现问题的定位
    • 数据指标集需要能够支撑AB业务的各项基本面分析
    • 技术性能指标需要能够集成到此系统內
    • 业务动态数据以及外部环境数据需要能够集成到此系统内
  • 实时监控分析体系需要能够满足数据的实时性,才能满足24小时內定位问题
    • ODPS数据无法使用在实时监控分析体系中,需要重建实时分析数据底层表
    • 需要建立在多维分析系统基础上,才能分析多种组合数据,方便定位问题
  • 实时监控分析体系需要能够沉淀排查分析思路

为了快速定位问题,不能依赖于每次出现问题后思考分析思路,而应该固化已经成熟的排查方案,并能不断补充。

数据分析体系

业务异动实时监测分析数据体系及产品设计
(点击查看大图)

实施步骤

1、业务数据准备:

主要建立在Log日志,点击日志,订单表3张宽表为基础上的多维分析模型中商品数据等外围业务数据,不断补充到底层表

2、性能数据准备:

开发同学通过后台打点获取“访问报错”,“页面加载”,“网络可用性”等网站性能相关指标集对应的表,输出到业务数据所在的多维分析模型

跨业务,性能指标集,如登录申请等数据,由开发同学通过后台打点获取,输出到业务数据所在的多维分析模型

3、业务动态数据和外部环境数据准备:

业务动态通过Aone发布数据接口对接到实时分析系统

外部汇率数据通过网站汇率组件接口到实时分析系统

外部大事件由BI输入到实时分析系统

4、实时数据多维分析和交互呈现:

由于实时监控分析需要沉淀分析思路,同时需要灵活定制分析思路,所以会需要大量针对实时分析目标的个性化开发;

需要一个多维分析平台,有灵活的交互定制,作为实时数据多维分析的承载和交互实现工具。

通过节点颜色来警示问题点,阈值使用4周平均值的上下3个西格玛。

预警功能,母节点的字节点出现3个或以上超阈值情况,提示查看母节点可能出现异动。

支持手动添加时间轴事件,用于排查内外部事件对业务的影响。

交互呈现Demo:

业务异动实时监测分析数据体系及产品设计

END

本文由 数据分析侠 投稿至 数据分析网 并经编辑发表,内容观点不代表本站立场,如转载请联系原作者,本文链接:https://www.afenxi.com/72409.html 。

(1)
Afenxi朋友们的头像Afenxi朋友们编辑
上一篇 2019-08-12 22:52
下一篇 2019-08-13 15:31

相关文章

关注我们
关注我们
分享本页
返回顶部