管中窥豹：大数据时代的德国IT业的个人感受

HEREAFTER

kolinsky 发表于 2015-8-31 14:58
数据库和数据仓库是不同的

大数据分析是为数据仓库设计的，不是数据库。

Facebook的原始数据也需要ETL到独立的Datawarehouse里进行分析，本身Performance不会受大的影响

kolinsky

HEREAFTER 发表于 2015-8-31 19:58
Facebook的原始数据也需要ETL到独立的Datawarehouse里进行分析，本身Performance不会受大的影响

本來就应该这样啊，面试考试要把数据库和数据仓库搞混了，直接挂掉啊。

有些人自己搞不清楚，数据库了半天，还好意思吼。

抓紧时间

幽雨听弦 发表于 2015-8-31 09:41
明白了
架构的确是最关键的。不过我个人觉得数据的架构和云的架构不是一回事。云的架构更多的是又物理 ...

我看这些话题不喜欢纠结具体技术，更多的想探究其起源和演化，体会其核心思想。

大数据和云都是从分布式系统演化出来，当然在其发展的过程中加进了自己许多独特的内容。云我把它更多的看作一个提供service的东西，至于继续怎么发挥，有无尽可能。

你说的没错，大数据的存储和运算，靠云来解决是个很不错的方案。为了降低硬件陈本，非关系型数据库和Peer型数据库是一个发展方向。这个和云的部分初衷也是一致的。

Hadoop非常紧密的和硬件支持相关，难怪你也懂，再往上sql的话，和经典hadoop应用相关反而不多，hadoop是常和NoSQL并提的，而SQL更多的是传统bi上用。不过sql也是个很大的话题，跟我开题的初衷有点偏题了。

抓紧时间

brecht 发表于 2015-8-31 16:43
云：偏硬，偏系统集成
大数据：偏机器学习，偏软。
大数据画的大饼：过去和现在的数据，预测未来的行为。 ...

说得好，受教了。

现在国内还在热炒什么大数据时代的小数据应用，即拿大数据分析的方法来给目前还不算多的数据进行分析和预测。比如开了一年蛋糕店的店长靠大数据来安排生意、预测盈利。

幽雨听弦

抓紧时间 发表于 2015-9-1 08:59
我看这些话题不喜欢纠结具体技术，更多的想探究其起源和演化，体会其核心思想。

大数据和云都是从分 ...

hadoop。。。我就知道名字其他的统统地不知道
依我来看大数据最有效的存储和分析方法就是靠云，而且也是最安全的，因为备份也在云里。
另外，大数据除了预测未来之外，另一个作用就是IT Transformation，因为数据多样化可以得到有效的处理和存储了，通过网络（不见得是internet）和云企业可以完全的数码化，智能化。工业那儿就是所谓的工业4.0.
现在有个比较火的概念叫IoE，是继去年的IoT而来，就是internet of things，后来变成internet of everthing，一个已经在实施的例子就是汉堡某街道的pivotproject，每个路灯都有光线自动控制，外加WIFI controller，外加监控摄像头等等。这些目前在德主要是在公共设施这边推行。
IT transformation是目前企业里比较火的概念，其实和云类似，或者是依靠云所产生的service 的一种。最大的顾虑也是安全性。

抓紧时间

幽雨听弦 发表于 2015-9-1 09:59
hadoop。。。我就知道名字其他的统统地不知道
依我来看大数据最有效的存储和分析方法 ...

好好好，everthing，哪天我自己都被10码给codieren后连入internet了。

谢谢幽女侠讲解IT最新动态，受教了！

幽雨听弦

抓紧时间 发表于 2015-9-1 10:01
好好好，everthing，哪天我自己都被10码给codieren后连入internet了。

谢谢幽女侠讲解IT最新动态，受 ...

你回复的好快～！
女侠不敢，就是刚开始的小白～帖子开的不错，感觉其实大家在这个范畴的人很多，只不过每个人视角不一样，就像五个人蒙上眼睛摸大象似的。多交流交流，明智明心

xianwubo

幽雨听弦 发表于 2015-9-1 09:59
hadoop。。。我就知道名字其他的统统地不知道
依我来看大数据最有效的存储和分析方法 ...

这要这么弄，今后黑客这行将更加的发扬光大。

leelight

幽雨听弦 发表于 2015-9-1 09:59
hadoop。。。我就知道名字其他的统统地不知道
依我来看大数据最有效的存储和分析方法 ...

IoT我个人很看好，，排除hack方面的安全性，这方面的应用可以非常广和深，可以给科研，生产，医疗，生活等方面带来巨大的便利

幽雨听弦

xianwubo 发表于 2015-9-1 10:24
这要这么弄，今后黑客这行将更加的发扬光大。

现实中有警察抓小偷，网络里也一样啊～都是人类社会，无论在哪儿都类似