什么是“大数据”?

为什么这是一个大问题?

“大数据”是通过研究大量非结构化数据来理解和预测人类行为的新科学。 大数据也被称为“预测分析”。

分析Twitter帖子,Facebook供稿,eBay搜索,GPS追踪器和ATM机是一些大数据示例。 学习安全视频,交通数据,天气模式,航班抵达,手机塔台日志和心率跟踪器等都是其他形式。 大数据是一种每周都在变化的混乱新科学,只有少数专家能够理解这一切。

常规生活中的大数据有哪些例子?

截图http://project.wnyc.org/transit-time

虽然大多数大数据项目都很模糊,但有大量数据影响个人,公司和政府的日常生活:

预测病毒爆发:通过研究社会政治数据,天气和气候数据以及医院/临床数据,这些科学家现在可以提前4周通知预测登革热爆发。

凶杀观察:这个大数据项目描述了华盛顿特区的谋杀案受害者,嫌犯和罪犯。 作为尊重死者的一种方式,并且作为人们的意识资源,这个大数据项目是令人着迷的。

纽约市过境旅游规划: WNYC电台节目制作人史蒂夫梅伦德斯将在线地铁时间表与旅行行程软件结合在一起。 他的创作让纽约人在地图上点击他们的位置,并预测火车和地铁的旅行时间。

施乐减少了劳动力的损失:呼叫中心的工作让情绪疲惫不堪。 施乐公司在专业分析师的帮助下研究了大量数据,现在他们可以预测哪些呼叫中心员工可能会留在公司最长时间。

支持反恐:通过研究社交媒体,财务记录,航班预订和安全数据,执法部门可以在恐怖嫌疑人做出恶行之前预测和定位恐怖嫌犯。

基于社交媒体评论调整品牌营销 人们直言不讳地在酒吧,餐厅或健身俱乐部分享他们的在线想法。 有可能研究这些数以百万计的社交媒体帖子,并向公司提供关于人们对其服务的看法的反馈。

谁使用大数据? 他们用它做什么?

许多整体公司使用大数据来调整他们的产品和价格,以最大限度地提高客户满意度。

为什么大数据如此重大?

4件事情使大数据显着:

1.数据量很大。 它不适合单个硬盘 ,更不用说USB棒 。 数据量远远超过人类头脑所能感知的数量(想想十亿兆字节,然后再乘以数十亿)。

2.数据杂乱无章。 大数据工作的50%到80%正在转换和清理信息,以便搜索和排序。 在我们这个星球上只有几千名专家完全知道如何做这种数据清理。 这些专家还需要非常专业的工具,如HPE和Hadoop来完成工作。 也许在10年后,大数据专家将会变成一打,但现在,他们是非常罕见的分析师,他们的工作仍然非常模糊和乏味。

数据已经成为可以出售和购买的商品**。 数据市场中存在公司和个人可以购买千兆字节的社交媒体和其他数据。 大部分数据都是基于云的,因为它太大而无法适应任何单个硬盘。 购买数据通常涉及订阅费,您可以将其插入云服务器场。

**大数据工具和创意的领导者是亚马逊,谷歌,Facebook和雅虎。 由于这些公司为数以百万计的人提供在线服务,因此它们将成为大数据分析背后的收集点和梦想家。

4.大数据的可能性是无止境的。 也许医生有一天会在发生之前的几个星期预测心脏病发作和中风。 通过对机械数据,交通和天气模式的预测分析,可能会降低飞机和汽车碰撞事故的发生。 网上约会可能会通过让大数据预测您的兼容人物来改善。 音乐家可以深入了解什么是最适合目标观众口味变化的音乐作品。 营养学家可能能够预测商店购买食物的哪种组合会加重或帮助一个人的医疗条件。 表面只被划伤,大数据的发现每周都在发生。

大数据是凌乱的

Monty Rakusen / Getty

大数据是预测性分析:将大量的非结构化数据转换为可搜索和可排序的内容。 这是一个混乱和混乱的空间,需要一种特殊的知识和耐心。

以单片UPS交付服务为例。 UPS的程序员研究驾驶员GPS和智能手机的数据,分析适应交通拥堵的最有效方法。 这款GPS和智能手机数据庞大,不能自动准备分析。 这些数据通过不同的智能手机硬件设备从各种GPS和地图数据库中输入。 UPS分析师花费数月的时间将所有数据转换为可轻松搜索和排序的格式。 不过,这项工作还是值得的。 今天,UPS开始使用这些大数据分析后,已节省了超过800万加仑的燃料。

由于大数据很混乱,需要花费很多精力来清理和准备使用,数据科学家们已经成为他们所做的所有繁琐工作的绰号“数据管理员”。

尽管如此,大数据和预测分析科学每周都在不断改进。 预计到2025年,所有人都可以轻松访问大数据。

大数据不是对隐私的侵入性威胁吗?

Feingersh / Getty

是的,如果我们的法律和个人隐私防护措施没有得到仔细管理,那么大数据就会侵犯个人隐私。 现在, 谷歌和YouTube以及Facebook已经追踪你的每日在线习惯 。 您的智能手机和计算机生活每天都会留下数字足迹,而复杂的公司正在研究这些足迹。

有关大数据的法律正在发生变化。 隐私是一种存在的状态,您现在必须承担个人责任,因为您不能再期望它是默认权利。

你可以做些什么来保护你的隐私:

您可以采取的最大的一步是使用VPN网络连接掩盖您的日常习惯 。 VPN服务将扰乱您的信号,使您的身份和位置至少部分被跟踪器屏蔽。 这不会让你百分百匿名,但是一个VPN将大大减少世界可以观察你的在线习惯。

我在哪里可以了解有关大数据的更多信息

蒙蒂拉斯库森/盖蒂

大数据对于具有分析思维和对科技的热爱的人来说是一件有趣的事情。 如果这就是你,那么一定要访问这个有趣的大数据项目页面。