大数据的挑战和收益

来源:存储 作者:四为技术 阅读:

术语“大数据”指在数据量、来源种类和类型方面对传统关系型数据库方法形成重大挑战的信息难题。数据多种类是大数据的一个最重要特征,包括文本、音频、视频、点击流、日志文件等。基于该特征,即使是几TB 的非结构化数据,也能够被视作大数据。

谷歌和雅虎等互联网搜索公司是率先开发大数据工具的公司,以便为万维网建立索引。其他互联网公司紧跟其后,开发其它组件来处理订单和建议、Facebook 类消息、以及互联网中的其他问题。现在,企业 IT 部门正在运用这些相同的工具,解决一直以来难以分析和解决的高价值业务难题。

这些新技术的使用从来都不会轻而易举。企业在整合、部署和维护这些新工具方面均面临着严峻的挑战,雪上加霜的是其中大部分工具还处于发展阶段。此外,企业还在 Linux* 和 Java* 等领域需要新的 IT 技能。开发和优化大数据解决方案需要重新思考并行计算结构方面的问题,例如 MapReduce,而且并非所有问题都象 Web 索引一样采取并行处理方式就可以解决。此外,解决大型问题可能需要降低数据库编程人员所一直要求的 ACID 语义中细微、一致、独立和持久性的特点,并牺牲一些低延迟性能来获取高吞吐量。

如果当前数据系统有足够的容量,则无需做出以上牺牲。但是如果问题已经严重超出能力范围,则大数据解决方案可能是唯一的选择。甚至在还没有明确使用案例的情况下,各公司也可利用低成本的大数据存储来捕获和存储几乎可能的一切,并在之后提取其潜在的价值。

来源:IT@Intel 白皮书——《挖掘企业大数据,成就更佳商业智能》

QQ咨询
微信
咨询客服微信
公众号
联系我们
回到顶部