-
实时分析社交媒体数据
摘要:本文为您介绍了如何使用 Spark Streaming 实时分析社交媒体数据,通过创建了一个不停运转的流程序,来演示如何实时获取 Twitter 数据,根据文本和位置来收集推文,并使用了 K 均值算法。 这是一篇关于使用 Spark Streaming 实时分析社交媒体数据的简短教程。 您想知道人们在发微博谈论世界的哪些不同地方吗,是在谈论各大洲还是在…
-
从大数据的风水图,来看到底大数据是怎么回事
摘要:本文中的Big Data Landscape图笔者随手分享在LinkedIn上,不晓得引起大量转发和评论,截止本周,得到6700个like,3800次share,400多条comment,笔者也觉得很神奇。这里就跟从事大数据或者投资领域的朋友推荐一下。原文作者是VC First Mark的Mark Turck,提下这一家VC,主要投资于早…
-
《连线》杂志创始主编凯文·凯利:大数据将横扫一切
摘要:如果我们穿越到1980年,告诉那时的人,30年以后你们会有维基百科,会有今天各种各样很酷的技术,没有人会相信。展望今后20年,也是今天的我们难以想象的。我唯一知道的是,20年以后最伟大的产品,现在还没被发明出来。未来将至,你怎么看 个人数据才是必然的大未来 未来数据还有一个趋势:如今很多数据都在洲际间通过海底光缆来传输,是地理位置之间的传输。但今后很多…
-
Facebook动态消息算法揭秘:它比你还了解你自己
导读:你登陆社交网站,以为新鲜事中都是自己订阅的内容,但它还包括平台想让你看到的,以及猜测你可能喜爱的内容。平台会猜测用户的心思,用户也往往沦为小白鼠。本文编译自SLATE,揭露了Facebook动态消息的背后的技术原理。为了了解你,科技公司可是很努力的。 每次你打开 Facebook ,这个世界上最具影响力,最有争议也是最被人误解的一套算法机制就开始运行。…
-
Facebook社交网络R语言分析
摘要:随着社交网络的普及,越来越多的用户通过facebook等社交平台联系到了一起。本文将基于facebook的好友关系数据,研究用户分布规律,并提供简单的好友推荐算法。 数据来源 KONECT【1】 http://konect.uni-koblenz.de/networks/facebook-wosn-links 数据原始格式 Note:好友信息以无向图的…
-
Facebook把旧数据“冷冻”起来,这是在干嘛?
当有人提到“可持续发展”这个词语的时候,第一个出现在你脑海里的肯定不会是数据中心。而实际上,这些有着庞大的计算机组、网络架构以及存储设备的大楼却是典型的耗电大户。原因就在于,为了保障这些设备正常运转,必须要有一个巨型的冷却系统来保证其一直在低温状态下运行。它们的配电系统会在这一制冷过程中损失近千瓦的电力。并且,为了保障设备不受突发状况导致的停电所影响,这些大…
-
Facebook大数据技术架构的演进路线
Facebook一直是大数据技术最积极的应用者,因为它拥有的数据量极其巨大,一份资料显示2011年它拥有的压缩数据已经有25PB,未压缩数据150PB,每天产生的未压缩的新数据有400TB。
-
社交网络经济学:你的数据价值几何?
社交网络经济学:你的数据价值几何?