最近有段视频很火,《CCTV重磅新闻:美国超级间谍潜入中国!就在你身边》!描述了借助iPhone手机的定位功能,记录了您的所有行踪。
一、大数据时代的挖掘技术
首先,大数据时代包括四个领域:数据科学、网络科学、空间地理科学和可视化技术。
数据科学:数据挖掘、文本挖掘、情感挖掘、意见挖掘、语义挖掘等
网络科学:社会网络分析、复杂网络、网络演化、网络动力学模型等
空间地理科学:智慧城市、定位导航服务、空间地理匹配、地图网格、地理基础信息等
数据可视化:图表、交互可视化、信息图、大屏展现等
二、什么是定位服务?什么是LBS服务?到底我们可以用来干什么?
互联网时代,不对是移动互联网时代,特别是智能手机带来的移动性,使得消费者的位置信息成为大数据挖掘的主要数据来源。
消费者大数据信息都有哪些?
1. 消费者每天每时每刻的签到或位置信息(包括:打车、地图导航、Apps)
2. 消费者的支付信息(支付宝、微信支付、网银、IP)
3. 消费者的社交媒体的心路历程(位置分享 POI等)
4. 消费者的娱乐(游戏、点评、交友等)
那么位置信息都有哪些呢?
1-您下载App的时候都跟你要位置信息,您同意了吗?您不同意,滴滴打车没法用,大众点评找不到地,代驾无法定位,这个位置信息误差不超过15米;及时您不提供位置,或许后台也记录了您的位置轨迹。
2-您走哪里都用或偷用Wifi,这个误差不超过30米;
3-您主动在微博、微信和其他应用中分享的位置信息;精度根据地图<15米
4-您上网一定有IP地址,至少知道您在国家、省市或根据IP地址库定位,误差较大;
5- 摄像头和物联网、车联网等传感器RFID设备
6-各种探针计算(比较诡秘,您靠近就扑捉)
地理位置的数据什么样子?
1-点:Point,记录了某个移动设备或人的时刻位置
2-线:PolyLine,记录了某些点组成的线、两点一线、三点一拐、你点就是轨迹
3-多边形:Polygon,记录某种封闭区域:国界、省界、区域、楼宇、地理网格
4-各种地图图层和精度(在线地图)
现在来看看我的Iphone 6plus里都记录了俺去过哪里?
找到手机设置——>隐私——>定位服务(如果你没有关闭)——>系统服务——>常去地点
至少一两个月前俺去过哪里都有记录了,俺去过广州也被记录了,大学城的记录也有!
多次记录我的主要活动地点,我去过一次密云是被记录下来了!
三、那么有了位置信息我们可以干什么呢?
1、我先准备空间地理信息的各种算法C” />
这些算法包括如何创建点point、计算点与点,点与线、区域的距离、计算最近距离、生成或拆分Poly、生成网格、区域或热图
关于地理信息或空间数据的计算,主要考虑的是经纬度的计算(Lat、Lang),不同的坐标系有差别,主要软件很多:ArcGis、Alteryx、Mapbox、R语言或Python都有相关算法和分析包
2. 空间地理信息的匹配算法
假如我有了20个学生在校园里的位置信息Point;
同时我们有了一个区域Polygon,假设是我监控的区域
现在我想通过算法匹配计算哪些学生落在了我的区域内
看到了,其实只要我们拥有你的位置信息,就可以计算出落在不同区域内的人或人数
当然如果能够实时进行计算,在一些重大公共安全事件中,移动或相关拥有位置数据的机构就可以实时计算特定区域的人流量、进出流量比等指标,避免重大拥挤事故的发生,理论上也可以计算景点热度或区域流量等;
四、地理空间数据在大数据时代具有重要的商业应用和决策价值
当我们可以普遍活动您的位置信息的时候,只有地图足够精度我们是可以非常好的计算各种地理信息的匹配和展现。
获取大量消费者的兴趣点(POI)
设定我们想要的区域,
五个1公里范围内的区域
匹配出计算结果
计算有多少人落在二三环之内
计算落在二环内的人数
所以我们只有拥有足够精细或精度的Polygon多边形数据,就可以计算点与线的匹配问题;
当然如果我们有更精细的Polygon区域数据,例如小区或地理网格数据,那么谁在哪个楼里办公,啥时候进去都是可算计的!
北京市某区域的Polygon数据
小区完整的Polygen数据
北京市建筑对象的区域Polygon数据
故宫的每一个建筑Polygon数据
配合城市规划网格数据
落实到来自google、百度或腾讯的街景地图上
五、应用场景
智慧足迹(Smart Steps),通过获得完全匿名或针对性的某个个体的网络聚合位置数据,可对某个时段、某个地点的人流量的关键影响因素进行分析,并将结果实时可视化和推送给企业或管理决策部门。可为零售商新店设计和选址、设计促销方式、客户反馈来源等提供决策支持,帮助商家和决策部门统计人流量和预测各种场景下的人流量和人流比等!
当然记住:大数据可以针对个人的行为轨迹进行分析了,挖恐怖分子当然需要;大数据也可以分析群体,所以智慧城市智慧交通都与位置信息有关;位置信息天生具有可视化特征,也是大屏可视化的重要领域!
如果我们能够把人的社会关系最终落实到行为位置轨迹上,并聚合各种位置信息,探讨在具体地理位置上人的特征并建模,我们将更好的理解大数据的价值!
我不拥有数据,我只关心算法!
来源:沈浩老师(微信ID:artofdata)
本文采用「CC BY-SA 4.0 CN」协议转载自互联网、仅供学习交流,内容版权归原作者所有,如涉作品、版权和其他问题请给「我们」留言处理。