数据分析要会写代码

作者：大胡桃夹子

最近工作任务有些忙，主要是各个部门的数据分析需求再加上APP后端性能优化挤到一块儿去了。

之前的数据相关工作主要是被动式的，各个部门把数据分析的需求给出来，然后一个人从ES或者Hadoop中对数据进行分析，最终用tableau画图，然后通过Keynote导出成pdf，通过邮件反馈回去。

近期通过了一个提案，就是开发一个内部使用的大数据开放平台，在Web上输入某个关键字，就可以返回相关的信息和分析结果。将自己从很多的手工分析中解放出来。

任务比较急，从零到上线只给一个月时间，而且只有我一个开发人员，还不能耽误平时的正常工作。

所以权衡下来，初步选择基于tableau server提供的Restful API，将后台预先生成的图返回到Web前端。同时会从Redis中获取一个实时计算的数据以及Mysql中获取一些文本类的信息展示。

Nginx主要是用来做安全控制，只允许公司内网使用，这样就不需要账号登录模块了。

总的架构如图所示：

今天升级了一下tableau server到最新版本，可以基于Http Restful API来下载视图的高清图片了。幸好今天升级了，还有不到一个月维护的License就到期了，到时候就无法升级了。而低版本的tableau server提供的API比较弱，完全没法满足初步的需求。

前端会提供一个简单的搜索框，然后搜索的内容和图片会显示在下面，第一版本暂时不会提供数据的导出功能。

目前是基于Python快速搭建一个Demo出来，等到Demo搭建的差不多了，打算使用Golang来做为后台，主要的考虑是顺便捡起遗失已久的Golang。