管中窥豹：大数据时代的德国IT业的个人感受

Linux_Handy

云:  提供平台。

大数据也即大数据分析: 一个运用。一般来说都是使用分布式数据库。你也可以去用传统数据库来做大数据分析，只要你能忍受那效率。大数据的难点在于自我学习能力。这个是IBM用来卖钱的点，其他公司也一样。大数据本身的基础算法很简单易懂。至于用什么平台来做大数据分析，这个是自己决定的事。和云或非云没有必然的联系。

传统数据库和分布式数据库: 数据库。和前面的俩都没有必然的联系。

kolinsky

Linux_Handy 发表于 2015-8-31 10:35
云:  提供平台。

大数据也即大数据分析: 一个运用。一般来说都是使用分布式数据库。你也可以去用传统数 ...

数据库和数据仓库是不同的

大数据分析是为数据仓库设计的，不是数据库。

现在有real time 的大数据分析系统，不过好像还没有什么成果。

你真要拿facebook的数据库做大数据分析，那可能要关闭整个facebook一段时间，那就看他们公司愿意不愿意了。

大数据分析的开始按钮按下去，几千个核就全被占用了，整个数据集合都是被锁定状态，只能读不能写。

传统数据库你要做大数据分析又不是不可能，其实也差不到哪里去。map的基本算法也就是遍历一次而已。

Linux_Handy

kolinsky 发表于 2015-8-31 14:58
数据库和数据仓库是不同的

大数据分析是为数据仓库设计的，不是数据库。

现在有real time 的大数据分析系统，不过好像还没有什么成果。

你真要拿facebook的数据库做大数据分析，那可能要关闭整个facebook一段时间，那就看他们公司愿意不愿意了。

大数据分析的开始按钮按下去，几千个核就全被占用了，整个数据集合都是被锁定状态，只能读不能写。

传统数据库你要做大数据分析又不是不可能，其实也差不到哪里去。map的基本算法也就是遍历一次而已。

实在没明白这二大爷回我这贴什么意思。

那些废话要你MA的来告诉我，你丫给我提鞋都不配。还跟我这儿普及知识来了。

kolinsky

Linux_Handy 发表于 2015-8-31 14:13
实在没明白这二大爷回我这贴什么意思。

那些废话要你MA的来告诉我，你丫给我提鞋都不配。还跟我这儿 ...

因为你也是重修的角色。

从你一次次提数据库就知道，你还没有资格说那些大话。

Linux_Handy

kolinsky 发表于 2015-8-31 15:28
因为你也是重修的角色。

从你一次次提数据库就知道，你还没有资格说那些大话。

真NM二。

SB, 回答下，你爷爷我哪句写了大数据是给数据库设计的。你丫就是自说自话SB无下限。

kolinsky

幽雨听弦 发表于 2015-8-31 09:01
记得读研的时候有门课就是data integration，现在倒是都忘了
我接触不到数据本身这个层面。如果从osi mo ...

data integration 和osi model没有关系的。

data integration 是schemata mapping 之类的工作。

比如你有两个schemata， 一个用customer_id,一个用client_id如果他们在语义上是等同的，那么你可以建立一个mapping让它们等同起来，以后你使用这两个schemata做数据分析的时候，就可以将他们视为同一数据。

在import数据进data warehouse的时候这两个数据也就可以放在同一数据表里面了。

这个工作是和语义相关的，大量的工作还是要人去做，当然也有机器自己做的，我上面提到dresden的那个中国女博士就是做那个工作的，拜读过她的博士论文。

pattonoriental

kolinsky 发表于 2015-8-31 08:46
云和大数据分析是两回事，虽然架构上有类似，但是完全是两回事。

大数据大多解决方案都是建立在云计算 ...

这个女博士的文章名字是？

幽雨听弦

kolinsky 发表于 2015-8-31 15:48
data integration 和osi model没有关系的。

data integration 是schemata mapping 之类的工作。

我知道这二者没有关系。后面说到osi modell是因为我不知道除了这个还有什么能快速说明我的工作范畴是啥因为不完全是硬件

kolinsky

pattonoriental 发表于 2015-8-31 15:06
这个女博士的文章名字是？

忘记了。。。。。回去帮你查吧。

brecht

云：偏硬，偏系统集成
大数据：偏机器学习，偏软。
大数据画的大饼：过去和现在的数据，预测未来的行为。
为什么要大数据？因为预测未来，其实只是在一定可信度下的预测，只有N无穷大，理论上才有意义（统计学理论这样认为的）。很多数据是非结构化的，比如基因序列，很多时间维度的数据比如个人一天的行为等等。