HEREAFTER
发表于 2015-8-31 19:58
kolinsky 发表于 2015-8-31 14:58
数据库和数据仓库是不同的
大数据分析是为数据仓库设计的,不是数据库。
Facebook的原始数据也需要ETL到独立的Datawarehouse里进行分析,本身Performance不会受大的影响
kolinsky
发表于 2015-8-31 20:28
HEREAFTER 发表于 2015-8-31 19:58
Facebook的原始数据也需要ETL到独立的Datawarehouse里进行分析,本身Performance不会受大的影响
本來就应该这样啊,面试考试要把数据库和数据仓库搞混了,直接挂掉啊。
有些人自己搞不清楚,数据库了半天,还好意思吼。
抓紧时间
发表于 2015-9-1 07:59
幽雨听弦 发表于 2015-8-31 09:41
明白了
架构的确是最关键的。不过我个人觉得数据的架构和云的架构不是一回事。云的架构更多的是又物理 ...
我看这些话题不喜欢纠结具体技术,更多的想探究其起源和演化,体会其核心思想。
大数据和云都是从分布式系统演化出来,当然在其发展的过程中加进了自己许多独特的内容。云我把它更多的看作一个提供service的东西,至于继续怎么发挥,有无尽可能。
你说的没错,大数据的存储和运算,靠云来解决是个很不错的方案。为了降低硬件陈本,非关系型数据库和Peer型数据库是一个发展方向。这个和云的部分初衷也是一致的。
Hadoop非常紧密的和硬件支持相关,难怪你也懂,再往上sql的话,和经典hadoop应用相关反而不多,hadoop是常和NoSQL并提的,而SQL更多的是传统bi上用。不过sql也是个很大的话题,跟我开题的初衷有点偏题了。
抓紧时间
发表于 2015-9-1 08:06
brecht 发表于 2015-8-31 16:43
云:偏硬,偏系统集成
大数据:偏机器学习,偏软。
大数据画的大饼:过去和现在的数据,预测未来的行为。 ...
说得好,受教了。
现在国内还在热炒什么大数据时代的小数据应用,即拿大数据分析的方法来给目前还不算多的数据进行分析和预测。比如开了一年蛋糕店的店长靠大数据来安排生意、预测盈利。
幽雨听弦
发表于 2015-9-1 08:59
抓紧时间 发表于 2015-9-1 08:59
我看这些话题不喜欢纠结具体技术,更多的想探究其起源和演化,体会其核心思想。
大数据和云都是从分 ...
hadoop。。。我就知道名字{:5_354:}其他的统统地不知道{:5_383:}
依我来看大数据最有效的存储和分析方法就是靠云,而且也是最安全的,因为备份也在云里。
另外,大数据除了预测未来之外,另一个作用就是IT Transformation,因为数据多样化可以得到有效的处理和存储了,通过网络(不见得是internet)和云企业可以完全的数码化,智能化。工业那儿就是所谓的工业4.0.
现在有个比较火的概念叫IoE,是继去年的IoT而来,就是internet of things,后来变成internet of everthing,一个已经在实施的例子就是汉堡某街道的pivotproject,每个路灯都有光线自动控制,外加WIFI controller,外加监控摄像头等等。这些目前在德主要是在公共设施这边推行。
IT transformation是目前企业里比较火的概念,其实和云类似,或者是依靠云所产生的service 的一种。最大的顾虑也是安全性。
抓紧时间
发表于 2015-9-1 09:01
幽雨听弦 发表于 2015-9-1 09:59
hadoop。。。我就知道名字其他的统统地不知道
依我来看大数据最有效的存储和分析方法 ...
好好好,everthing,哪天我自己都被10码给codieren后连入internet了。
谢谢幽女侠讲解IT最新动态,受教了!
幽雨听弦
发表于 2015-9-1 09:05
抓紧时间 发表于 2015-9-1 10:01
好好好,everthing,哪天我自己都被10码给codieren后连入internet了。
谢谢幽女侠讲解IT最新动态,受 ...
你回复的好快~!
女侠不敢,就是刚开始的小白~帖子开的不错,感觉其实大家在这个范畴的人很多,只不过每个人视角不一样,就像五个人蒙上眼睛摸大象似的。多交流交流,明智明心
xianwubo
发表于 2015-9-1 09:24
幽雨听弦 发表于 2015-9-1 09:59
hadoop。。。我就知道名字其他的统统地不知道
依我来看大数据最有效的存储和分析方法 ...
这要这么弄,今后黑客这行将更加的发扬光大。
leelight
发表于 2015-9-1 09:50
幽雨听弦 发表于 2015-9-1 09:59
hadoop。。。我就知道名字其他的统统地不知道
依我来看大数据最有效的存储和分析方法 ...
IoT我个人很看好,,排除hack方面的安全性,这方面的应用可以非常广和深,可以给科研,生产,医疗,生活等方面带来巨大的便利
幽雨听弦
发表于 2015-9-1 10:16
xianwubo 发表于 2015-9-1 10:24
这要这么弄,今后黑客这行将更加的发扬光大。
现实中有警察抓小偷,网络里也一样啊~都是人类社会,无论在哪儿都类似{:5_387:}
页:
1
2
3
4
[5]
6
7
8
9
10
11
12