Ebay开源基于大数据的可视化框架：Pulsar Reporting_ebay的博客-CSDN博客
Ebay开源基于大数据的可视化框架：Pulsar Reporting
ebay
于 2015-12-28 10:42:17 发布
10598
收藏
分类专栏：
平台
开发
文章标签：
Pulsar
大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ebay/article/details/50417403
版权
平台
同时被 2 个专栏收录
33 篇文章
1 订阅
订阅专栏
开发
17 篇文章
0 订阅
订阅专栏
作者：汪明明，王巧玲
ebay又新添了一个开源项目PulsarReporting – 基于大数据的可视化框架
Pulsar作为一个实时和近实时大数据分析处理系统，包含了Pulsar Pipeline和Pulsar Reporting. 在今年三月, eBay Pulsar团队开源了实时大数据分析平台– Pulsar Pipeline，作为一个实时大数据分析平台，PulsarPipeline可以对海量数据进行实时收集，处理和分析，从而使eBay海量的数据实时分析成为可能；然而Pulsar又面临一个新的挑战，就是大数据的实时可视化。用户的需求就是Pulsar团队的动力，经过半年多的努力，eBay Pulsar团队研发了一个新的基于大数据的可视化框架– Pulsar Reporting
Pulsar Reporting
Pulsar Reporting 是一个基于大数据的可扩展和可定制的可视化平台， 用户通过Pulsar 可以提供更为清晰直观的数据洞察力，将错综复杂的数据和数据之间的关系，通过图形的形式呈现出来，从而给用户带来实时的洞察力和有效的决策力。同时Pulsar Reporting 也提供了非常友好的数据交互体验以及从宏观到微观的灵活切换，从而为用户对数据进行实时多角度分析和可视化成为可能。
主要特点
Ÿ   实时数据可视化 – 基于实时数据生成报表，并支持定期刷新
Ÿ   可视化报表编辑器 – 通过可视化界面生成自定义报表，且无需任何编程
Ÿ   丰富的图形库 – 可以创建各种图形报表：线图，饼图，柱状图，趋势图等
Ÿ   Reporting API支持– 支持标准化SQL脚本和结构化JSON格式
Ÿ   动态数据源管理 – 支持‘热插拔’增加和删除数据源
Ÿ   基于Angular JS的UI框架 – 易于增加和扩展现有的图形库
Ÿ   基于BootStrap的响应式设计 – 可以支持不同的终端设备，如手机，平板等
使用场景
Pulsar Reporting框架作为Pulsar生态系统的一个部分，使得Pulsar可以提供一个端到端的实时大数据分析解决方案，包括从后端的数据收集，数据流处理分析到前端的数据实时展现。Pulsar Pipeline具有每秒百万级流量的处理能力，而数据可视化则是最好的途径去直观且有效得展现大数据的魅力。然而基于大数据进行实时分析并进一步为决策者提供有用的数据报表并非一件易事，Puslar Reporting正好解决这方面的困扰；它允许用户通过Pulsar Reporting简单便捷的界面来制定他们所需的报表而无需考虑后端复杂的数据处理和前段的界面展现的问题；另一方面，Reporting强大的API，允许开发人员自由得扩展现有的数据报表，从而定制自己特色的报表。
体系架构
在Pulsar Reporting，来自Pulsar Pipeline的原数据和session数据，通过Pulsar Kafka通道中指定的topics流入到Kafka集群，然后再通过Kafka topics分别注入到Druid的原数据和Session数据表中，而数据导入Druid之前，数据预先经过秒级粒度的聚合，从而保证在可视化阶段能达到实时秒级的响应。而且在Pulsar Reporting中，我们也支持Reporting API – 一组抽象的数据分析和查询接口，用户可以通过调用相应的接口来获取处理过的原数据和Session数据，并生成不同维度的报表。图中红色部分就是Pulsar Reporting的主要功能模块。
案例分析
Ÿ   作为实时大数据处理可视化平台，Pulsar Reporting提供了丰富的API来支持对网站性能的分析需求
a)        网站活跃用户分析：现在以网站活跃用户分析为例，通过基于SQL接口，分析指定时间内基于流量来源(Traffic Source)维度的网站活跃用户指标；包括基于指定流量来源(Traffic Source)维度的新用户比率(New Session Rate), 用户浏览的总页面数(Total Pages)，总活跃用户数(Total Sessions)以及总活跃用户停留时间(Total Sesssion Duration). 以下是实现细节，仅供参考。
         
Endpoint: http://<API_Server>/prapi/v2/sql Method: POST Body: {"sql" : "SELECT (count(session) - sum(retvisitor)) * 1.0 / count(session) newSessionRate, sum(sessionDuration) * 1000 totalSessionDurations, count(session) sessions, sum(sessionDuration) totalSessions, sum(totalpagect) totalPages, country, trafficSource FROM pulsar_session WHERE site=0 and country='usa' GROUP BY country, trafficSource ORDER BY sum(totalpagect) ASC limit 20", "intervals": "2015-11-11 03:00:32/2015-11-18 01:00:32", "granularity": "day"}
返回结果： [     {                    "timestamp": "2015-11-11 03:00:32",                    "result":                    {                             "sessions": 28465,                             "trafficsource": "Social Media",                             "newsessionrate": 0.7841,                             "totalpages": 70911,                             "totalsessions": 419763,                             "totalsessiondurations": 419747000,                             "country": "usa"                    }          },          {                    "timestamp": "2015-11-11 03:00:32",                    "result":                    {                             "sessions": 40,                             "trafficsource": "Paid Campaign",                             "newsessionrate": 0.9840,                             "totalpages": 51,                             "totalsessions": 2631,                             "totalsessiondurations": 226000,                             "country": "usa"                    }          }, …… ]
a)          网站浏览量分析：作为商业网站，网站浏览量是一个关键的指标来衡量一个网站的活跃程度，接下来介绍如何通过结构化的Json接口来获取基于流量来源(Traffic Source)分类的网站浏览量的分析。以下是实现细节，仅供参考。
Endpoint: http://<API_Server>/prapi/v2/realtime Method: POST Body: {"metrics" : [ "pageviews" ], "dimensions" : [ "trafficsource" ], "filter" : "site=0" }
返回结果： [          {                    "timestamp": "2015-11-17 19:38:20",                    "result":                    {                             "pageviews": 272393,                             "totaldwell": 670162705,                             "trafficsource": "Direct"                    }          },          {                    "timestamp": "2015-11-17 19:38:20",                    "result":                    {                             "pageviews": 186139,                             "totaldwell": 781712501,                             "trafficsource": "Referral"                    }          }, …… ]
Ÿ   Pulsar Reporting也提供了可视化编辑工具来帮助用户快速生成基于特定需求的分析报表集。用户可以通过Reports Creator来订制自己的报表集；在可订制报表页面，用户首先创建自己的报表集：
在创建的报表集内，根据业务需求制定报表：
最后通过调整报表的布局，就能看到下面类似的报表集了。
后续计划
继往开来，Pulsarteam将继续完善Pulsar Reporting，以下是我们未完成的功能：
1．  Pathing图和漏斗图
2．  报表输出管理
3．  更多数据源支持
同时我们也期待有更多的项目能采用我们Pulsar Reporting去解决大数据的可视化问题，并热切期待您的贡献。了解更多Pulsar Reporting，请访问http://gopulsar.io/html/reporting.html。
关于作者
Ÿ   汪明明，PulsarReporting Commiter和架构师
Ÿ   王巧玲，PulsarReporting 产品经理
Pulsar团队
参考资料
Ÿ   Pulsar Reporting技术文档: http://gopulsar.io/html/reporting.html
Ÿ  Pulsar Reporting源码: https://github.com/pulsarIO/pulsar-reporting-ui
Ÿ   Pulsar技术文档: http://gopulsar.io/
Ÿ   Pulsar Pipeline技术文档: http://gopulsar.io/html/pipeline.html
Ÿ   eBay techblog:  http://www.ebaytechblog.com/2015/11/05/announcing-pulsar-reporting-near-real-time-metrics-reporting-framework/
Ÿ  Druid：http://druid.io/
Ÿ  Kafka：http://kafka.apache.org/
Ÿ  JSON：http://www.json.org/
Ÿ  Hadoop：http://hadoop.apache.org/
Ÿ  AngularJS：https://angularjs.org/
Ÿ  AngularBootstrap： https://angular-ui.github.io/bootstrap/
Ÿ  Boostrap：http://getbootstrap.com/
Ÿ   jQuery: https://jquery.com/
ebay
关注
关注
点赞
收藏
打赏
评论
Ebay开源基于大数据的可视化框架：Pulsar Reporting
ebay又新添了一个开源项目Pulsar Reporting – 基于大数据的可视化框架.
复制链接
扫一扫
专栏目录
可视化大屏实例
11-16
可视化大屏完整实例，用echarts 实现图标，效果比较好，
离线数仓搭建_18_Presto&Kylin即席查询
勇敢牛牛，不怕困难！
10-06
57
​Apache Kylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。
评论 2
您还未登录，请先
登录
后发表或查看评论
在ebay做大数据的第一年，我离职了。
a934079371的博客
09-12
336
点击上方 "大数据肌肉猿"关注,星标一起成长后台回复【加群】，进入高质量学习交流群2021年大数据肌肉猿公众号奖励制度本文的主人公是学习群的一个小伙伴，一年前他从小公司通...
Apache Pulsar可视化管理工具：Pulsar-Manager部署及使用
最新发布
个人技术学习笔记
11-10
558
pulsar-manager部署及使用
Ebay开源基于大数据的可视化框架：PulsarReporting
01-27
ebay又新添了一个开源项目PulsarReporting–基于大数据的可视化框架
Pulsar作为一个实时和近实时大数据分析处理系统，包含了PulsarPipeline和Pulsar
Reporting.在今年三月,eBayPulsar团队开源了实时大数据分析平台–Pulsar
Pipeline，作为一个实时大数据分析平台，PulsarPipe
大数据可视化UI样例
03-31
大数据 big data 可视化UI样例html Demo，可提取样式、布局、控件等，数据大屏视觉效果必备神器!
Apache Pulsar管理工具Pulsar Manager的介绍和使用
11-15
Apache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。
几款数据可视化大屏开源项目，科技感爆棚！太哇塞了～
Java技术栈，分享最主流的Java技术
08-07
1994
点击关注公众号，Java干货及时送达来源：https://blog.csdn.net/hwhsong/article/details/80805511数据可视化： 把相对复杂的、抽象的数据通过可视的、交互的方式进行展示，从而形象直观地表达数据蕴含的信息和规律。数据可视化是数据空间到图形空间的映射，是抽象数据的具象表达。数据可视化交互的基本原则：总览为先，缩放过滤按需查看细...
精选30个炫酷的数据可视化大屏(含源码)，拿走就用！
法纳斯特
09-26
2万+
大家好，我是小F～大屏数据可视化是以大屏为主要展示载体的数据可视化设计。“大面积、炫酷动效、丰富色彩”，大屏易在观感上给人留下震撼印象，便于营造某些独特氛围、打造仪式感。原本看不见的数据可...
新一代开源数据可视化平台 datart——技术架构与应用场景
running_elephant的博客
09-21
2830
随着实时报表、BI、实时大屏、仪表板、甚至数字孪生等交互式数据可视化类产品应用越来越广，数据可视化领域备受关注
QT 1、开源一款可视化大屏源码
Mr-zhou先生
09-21
539
开源一款可视化大屏源码
免费开源的100套Echarts大屏数据可视化模板分享
coderYYY的博客
06-23
7212
100套大数据可视化炫酷大屏Html5模板；包含行业：社区、物业、政务、交通、金融银行等，全网最新、最多，最全、最酷、最炫大数据可视化模板。陆续更新中
不用再自己花钱买了，git上有开源的100套项目，有预览图和在线预览地址，按需取用。...
eBay Penguin-开源
05-15
这是一个用Visual Basic编写的eBay浏览器，旨在帮助您跟踪所有拍卖。
eBay 打造基于 Apache Druid 的大数据实时监控系统
10-16
Apache Druid 是一个用于大数据实时查询和分析的高容错、高性能开源分布式时序数据库系统，旨在快速处理大规模的数据，并能够实现快速查询和分析。这篇文章主要介绍了eBay 如何打造基于 Apache Druid 的大数据实时监控系统？需要的朋友可以参考下
Ebay开源：Eclipse Plugin Repository Portal
ebay的专栏
11-23
1037
Eclipse Plugin Repository Portal是eBay开源的关于eclipse插件管理的软件。其集中化的管理方式，可视化的操作界面简化了插件管理的流程，减少了人为因素引起的错误，使得插件开发和版本发布的效率得到极大提升，间接保证了软件开发的质量。
4个最受欢迎的大数据可视化工具
热门推荐
大数据
03-26
9万+
授权转载自大数据文摘 ID：BigDataDigest原文作者Volodymyr Fedak翻译：胡雯思想像阅读书本一样阅读数据流？这只有在电影中才有可能发生。 在现实世界中，企业必须使用数据可视化工具来读取原始数据的趋势和模式。大数据可视化是进行各种大数据分析解决的最重要组成部分之一。 一旦原始数据流被以图像形式表示时，以此做决策就变得容易多了。 为了满足并超越客户的期望，大数据可视化工具应该具
几种数据可视化框架分析
dao_wolf的博客
12-04
2万+
转载的简书网的Endzzz的博客
simple-data-visualization:“数据可视化大屏”设计与编辑器
03-15
简单数据可视化
数据可视化简易Demo
vuex状态：
组件存放所有组件状态
activeElement当前激活状态的组件
editorScreen画布区域缩放状态
拖动和调整大小
mousedown：更新activeElement，使用activeElement来更改组件样式
关于拖动和调整大小：节流（fn，16）节流更新activeElement
拖动并调整大小：防抖（fn，100）防抖更新组件
指导方针组件：
根据activeElement的状态来更新显示状态与样式
这可能是目前最好用的开源可视化拖拽框架
不忘初心，坚定道路！
07-29
3389
前言
hello，大家好，我是dooringx-lib的作者。今天刚刚开源了我们dooringx项目的可视化拖拽框架dooringx-lib。
和别的开源项目比，dooringx-lib除了提供基础的编辑器功能，还有自己独特的弹窗系统与事件机制。
项目仓库：https://github.com/H5-Dooring/dooringx
项目文档：https://h5-dooring.github.io/dooringx/
下面就来简单介绍一下。
编辑器基础功能
dooringx-lib的所有组件都是可拆分
大数据进阶（一）：4个最受欢迎的大数据可视化工具（抛砖引玉篇）
IT全栈 华强工作室
08-05
9514
想像阅读书本一样阅读数据流？这只有在电影中才有可能发生。 在现实世界中，企业必须使用数据可视化工具来读取原始数据的趋势和模式。
大数据可视化是进行各种大数据分析解决的最重要组成部分之一。 一旦原始数据流被以图像形式表示时，以此做决策就变得容易多了。 为了满足并超越客户的期望，大数据可视化工具应该具备这些特征：尽管实际上存在着无数专门用于大数据可视化的工具，且它们都是既开源又专有的，在这其中还是有一些工具表现比较突出，因为它们提供了上述所有或者很多部分功能。 我们将介绍4种最受欢迎的大数据可视化工具，帮助大
【数据可视化】三款主流开源数据可视化工具对比：Superset、DataEase、MetaBase
菜鸟叔叔的博客
06-16
5727
现在市场上开源 BI 产品比较多，各个产品的侧重点不同，有的以报表为主、有的以可视化为主、有的以查询分析为主。这里我们选取了一些主流的开源 BI 产品，从产品功能、可视化能力、数据源支持以及使用文档等方面进行对比，希望对你有帮助。由Airbnb贡献的轻量级BI产品，目前在GitHub上有3万多颗星，其受欢迎程度可见一斑。Superset提供了Dashboard和多维分析两大类功能，后者可以将制作的结果发布到Dashboard上也可以单独使用。在这里插入图片描述数据源方面，Superset支持CSV、MySQ
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：大白
设计师：CSDN官方博客
返回首页
ebay
CSDN认证博客专家
CSDN认证企业博客
码龄20年
暂无认证
69
原创
13万+
周排名
35万+
总排名
23万+
访问
等级
2800
积分
107
粉丝
69
获赞
30
评论
140
收藏
私信
关注
热门文章
细数Kubernetes Service那些事－kubernetes 服务发布以及在eBay的实践
21614
TCP BBR拥塞控制算法解析
21561
Griffin – 模型驱动的数据质量服务平台
13234
Ebay开源基于大数据的可视化框架：Pulsar Reporting
10598
Kafka的分布式架构设计与High Availability机制
9030
分类专栏
平台
33篇
JAVA
2篇
JavaScript
6篇
移动
PHP
Ruby
前端
12篇
开发
17篇
Machine Learning
5篇
测试
6篇
Kubernetes
1篇
最新评论
在开发测试中使用HBaseMiniCluster
plusw00:
请问有没有测试hive的迷你集群
TCP BBR拥塞控制算法解析
macWhale:
理论上是BBR吃亏，但是现在kernel bbr感觉搞了一些骚操作，让它处于拥塞状态
JavaScript 异步原理
Deep Learning小舟:
啥都不说了，请收下我的膝盖！(^ ^)
使用JProfiler进行性能调优
秋雨寂庭:
你这图全挂了啊
从数据仓库到数据视图
weixin_45246382:
这种地图太显眼了吧
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
从dedup说起之JS数组去重
基于PWA的异步监控
React同构漫谈
2017年7篇
2016年5篇
2015年58篇
目录
目录
分类专栏
平台
33篇
JAVA
2篇
JavaScript
6篇
移动
PHP
Ruby
前端
12篇
开发
17篇
Machine Learning
5篇
测试
6篇
Kubernetes
1篇
目录
评论 2
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
ebay
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值