管中窥豹：大数据时代的德国IT业的个人感受

Linux_Handy

云:  提供平台。

大数据也即大数据分析: 一个运用。一般来说都是使用分布式数据库。你也可以去用传统数据库来做大数据分析，只要你能忍受那效率。大数据的难点在于自我学习能力。这个是IBM用来卖钱的点，其他公司也一样。大数据本身的基础算法很简单易懂。至于用什么平台来做大数据分析，这个是自己决定的事。和云或非云没有必然的联系。

传统数据库和分布式数据库: 数据库。和前面的俩都没有必然的联系。

kolinsky

Linux_Handy 发表于 2015-8-31 10:35
云:  提供平台。

大数据也即大数据分析: 一个运用。一般来说都是使用分布式数据库。你也可以去用传统数 ...

数据库和数据仓库是不同的

大数据分析是为数据仓库设计的，不是数据库。

现在有real time 的大数据分析系统，不过好像还没有什么成果。

你真要拿facebook的数据库做大数据分析，那可能要关闭整个facebook一段时间，那就看他们公司愿意不愿意了。

大数据分析的开始按钮按下去，几千个核就全被占用了，整个数据集合都是被锁定状态，只能读不能写。

传统数据库你要做大数据分析又不是不可能，其实也差不到哪里去。map的基本算法也就是遍历一次而已。

Linux_Handy

kolinsky 发表于 2015-8-31 14:58
数据库和数据仓库是不同的

大数据分析是为数据仓库设计的，不是数据库。

现在有real time 的大数据分析系统，不过好像还没有什么成果。

你真要拿facebook的数据库做大数据分析，那可能要关闭整个facebook一段时间，那就看他们公司愿意不愿意了。

大数据分析的开始按钮按下去，几千个核就全被占用了，整个数据集合都是被锁定状态，只能读不能写。

传统数据库你要做大数据分析又不是不可能，其实也差不到哪里去。map的基本算法也就是遍历一次而已。

实在没明白这二大爷回我这贴什么意思。

那些废话要你MA的来告诉我，你丫给我提鞋都不配。还跟我这儿普及知识来了。

kolinsky

Linux_Handy 发表于 2015-8-31 14:13
实在没明白这二大爷回我这贴什么意思。

那些废话要你MA的来告诉我，你丫给我提鞋都不配。还跟我这儿 ...

因为你也是重修的角色。

从你一次次提数据库就知道，你还没有资格说那些大话。

Linux_Handy

kolinsky 发表于 2015-8-31 15:28
因为你也是重修的角色。

从你一次次提数据库就知道，你还没有资格说那些大话。

真NM二。

SB, 回答下，你爷爷我哪句写了大数据是给数据库设计的。你丫就是自说自话SB无下限。

kolinsky

幽雨听弦 发表于 2015-8-31 09:01
记得读研的时候有门课就是data integration，现在倒是都忘了
我接触不到数据本身这个层面。如果从osi mo ...

data integration 和osi model没有关系的。

data integration 是schemata mapping 之类的工作。

比如你有两个schemata， 一个用customer_id,一个用client_id如果他们在语义上是等同的，那么你可以建立一个mapping让它们等同起来，以后你使用这两个schemata做数据分析的时候，就可以将他们视为同一数据。

在import数据进data warehouse的时候这两个数据也就可以放在同一数据表里面了。

这个工作是和语义相关的，大量的工作还是要人去做，当然也有机器自己做的，我上面提到dresden的那个中国女博士就是做那个工作的，拜读过她的博士论文。

pattonoriental

kolinsky 发表于 2015-8-31 08:46
云和大数据分析是两回事，虽然架构上有类似，但是完全是两回事。

大数据大多解决方案都是建立在云计算 ...

这个女博士的文章名字是？

幽雨听弦

kolinsky 发表于 2015-8-31 15:48
data integration 和osi model没有关系的。

data integration 是schemata mapping 之类的工作。

我知道这二者没有关系。后面说到osi modell是因为我不知道除了这个还有什么能快速说明我的工作范畴是啥因为不完全是硬件

kolinsky

pattonoriental 发表于 2015-8-31 15:06
这个女博士的文章名字是？

忘记了。。。。。回去帮你查吧。

brecht

云：偏硬，偏系统集成
大数据：偏机器学习，偏软。
大数据画的大饼：过去和现在的数据，预测未来的行为。
为什么要大数据？因为预测未来，其实只是在一定可信度下的预测，只有N无穷大，理论上才有意义（统计学理论这样认为的）。很多数据是非结构化的，比如基因序列，很多时间维度的数据比如个人一天的行为等等。

HEREAFTER

kolinsky 发表于 2015-8-31 14:58
数据库和数据仓库是不同的

大数据分析是为数据仓库设计的，不是数据库。

Facebook的原始数据也需要ETL到独立的Datawarehouse里进行分析，本身Performance不会受大的影响

kolinsky

HEREAFTER 发表于 2015-8-31 19:58
Facebook的原始数据也需要ETL到独立的Datawarehouse里进行分析，本身Performance不会受大的影响

本來就应该这样啊，面试考试要把数据库和数据仓库搞混了，直接挂掉啊。

有些人自己搞不清楚，数据库了半天，还好意思吼。

抓紧时间

幽雨听弦 发表于 2015-8-31 09:41
明白了
架构的确是最关键的。不过我个人觉得数据的架构和云的架构不是一回事。云的架构更多的是又物理 ...

我看这些话题不喜欢纠结具体技术，更多的想探究其起源和演化，体会其核心思想。

大数据和云都是从分布式系统演化出来，当然在其发展的过程中加进了自己许多独特的内容。云我把它更多的看作一个提供service的东西，至于继续怎么发挥，有无尽可能。

你说的没错，大数据的存储和运算，靠云来解决是个很不错的方案。为了降低硬件陈本，非关系型数据库和Peer型数据库是一个发展方向。这个和云的部分初衷也是一致的。

Hadoop非常紧密的和硬件支持相关，难怪你也懂，再往上sql的话，和经典hadoop应用相关反而不多，hadoop是常和NoSQL并提的，而SQL更多的是传统bi上用。不过sql也是个很大的话题，跟我开题的初衷有点偏题了。

抓紧时间

brecht 发表于 2015-8-31 16:43
云：偏硬，偏系统集成
大数据：偏机器学习，偏软。
大数据画的大饼：过去和现在的数据，预测未来的行为。 ...

说得好，受教了。

现在国内还在热炒什么大数据时代的小数据应用，即拿大数据分析的方法来给目前还不算多的数据进行分析和预测。比如开了一年蛋糕店的店长靠大数据来安排生意、预测盈利。

幽雨听弦

抓紧时间 发表于 2015-9-1 08:59
我看这些话题不喜欢纠结具体技术，更多的想探究其起源和演化，体会其核心思想。

大数据和云都是从分 ...

hadoop。。。我就知道名字其他的统统地不知道
依我来看大数据最有效的存储和分析方法就是靠云，而且也是最安全的，因为备份也在云里。
另外，大数据除了预测未来之外，另一个作用就是IT Transformation，因为数据多样化可以得到有效的处理和存储了，通过网络（不见得是internet）和云企业可以完全的数码化，智能化。工业那儿就是所谓的工业4.0.
现在有个比较火的概念叫IoE，是继去年的IoT而来，就是internet of things，后来变成internet of everthing，一个已经在实施的例子就是汉堡某街道的pivotproject，每个路灯都有光线自动控制，外加WIFI controller，外加监控摄像头等等。这些目前在德主要是在公共设施这边推行。
IT transformation是目前企业里比较火的概念，其实和云类似，或者是依靠云所产生的service 的一种。最大的顾虑也是安全性。

抓紧时间

幽雨听弦 发表于 2015-9-1 09:59
hadoop。。。我就知道名字其他的统统地不知道
依我来看大数据最有效的存储和分析方法 ...

好好好，everthing，哪天我自己都被10码给codieren后连入internet了。

谢谢幽女侠讲解IT最新动态，受教了！

幽雨听弦

抓紧时间 发表于 2015-9-1 10:01
好好好，everthing，哪天我自己都被10码给codieren后连入internet了。

谢谢幽女侠讲解IT最新动态，受 ...

你回复的好快～！
女侠不敢，就是刚开始的小白～帖子开的不错，感觉其实大家在这个范畴的人很多，只不过每个人视角不一样，就像五个人蒙上眼睛摸大象似的。多交流交流，明智明心

xianwubo

幽雨听弦 发表于 2015-9-1 09:59
hadoop。。。我就知道名字其他的统统地不知道
依我来看大数据最有效的存储和分析方法 ...

这要这么弄，今后黑客这行将更加的发扬光大。

leelight

幽雨听弦 发表于 2015-9-1 09:59
hadoop。。。我就知道名字其他的统统地不知道
依我来看大数据最有效的存储和分析方法 ...

IoT我个人很看好，，排除hack方面的安全性，这方面的应用可以非常广和深，可以给科研，生产，医疗，生活等方面带来巨大的便利

幽雨听弦

xianwubo 发表于 2015-9-1 10:24
这要这么弄，今后黑客这行将更加的发扬光大。

现实中有警察抓小偷，网络里也一样啊～都是人类社会，无论在哪儿都类似

幽雨听弦

leelight 发表于 2015-9-1 10:50
IoT我个人很看好，，排除hack方面的安全性，这方面的应用可以非常广和深，可以给科研，生产，医疗，生活 ...

没错，居家工作生活都有无限的延展性的
唉，任何时候，好处坏处都共存的，得到了便利就得面对风险～

Linux_Handy

kolinsky 发表于 2015-8-31 21:28
本來就应该这样啊，面试考试要把数据库和数据仓库搞混了，直接挂掉啊。

有些人自己搞不清楚，数据库了半天，还好意思吼。

SB, 告诉你爷爷我你这数据仓库里数据存哪儿！

就你丫这水平还这儿哔吧哔吧。要不是人说了不会直接在数据库里使用数据你丫屁都不知道怎么分析数据。

leelight

幽雨听弦 发表于 2015-9-1 11:17
没错，居家工作生活都有无限的延展性的
唉，任何时候，好处坏处都共存的，得到了便利就得面对风险～

可惜一般人只看一面，估计今后又要有个对应的IoT隐私法

幽雨听弦

leelight 发表于 2015-9-1 13:24
可惜一般人只看一面，估计今后又要有个对应的IoT隐私法

隐私法是必然的。都是这样，技术先发展，后面坠着的是politics，然后后面拖着一个哭着喊着的法制
公司内部也类似吧，技术部门大家都对新鲜事物比较offen，拿着手机当闹铃当便条当电脑啥的，HR的人呢，还埋在纸张堆里埋头猛写

抓紧时间

幽雨听弦 发表于 2015-9-1 15:13
隐私法是必然的。都是这样，技术先发展，后面坠着的是politics，然后后面拖着一个哭着喊着的法制{:5_387: ...

你有没有发现车厂这些大公司的HR，用的软件啊技术啊够先进，但流程模式还是急死个人

抓紧时间

leelight 发表于 2015-9-1 13:24
可惜一般人只看一面，估计今后又要有个对应的IoT隐私法

什么隐私问题是个问题，但根本不是这些技术发展的大问题。

德国的IT对大数据并不太感冒，车厂这些大公司把它当做工业四点零的附属品，小公司对此需求不强也不主动去拓展可能用得上大数据的业务。

对大公司来说，它们自知互联网IT业比不了美国甚至比不了中国，所以还是多花点工夫和自己的强项：制造业结合结合吧。小公司的IT从业人员待遇太差，业发展缓慢。外包也不是根本出路

Linux_Handy

抓紧时间 发表于 2015-9-1 21:37
什么隐私问题是个问题，但根本不是这些技术发展的大问题。

德国的IT对大数据并不太感冒，车厂这些大公司把它当做工业四点零的附属品，小公司对此需求不强也不主动去拓展可能用得上大数据的业务。

对大公司来说，它们自知互联网IT业比不了美国甚至比不了中国，所以还是多花点工夫和自己的强项：制造业结合结合吧。小公司的IT从业人员待遇太差，业发展缓慢。外包也不是根本出路

德国不是IT行业的国家。德国IT和蓝领差不多的性质。

德国人的性格不适合从事 IT业。唯一的解决办法就是大量引进中国人，停止土非阿三类人的进入才有可能根本解决IT弱势的局面。

kolinsky

發現腦子燒壞的人還蠻多啊。

德國爲什麼不適合從事IT業？也不去問問Von Neumann是哪國人。

我對這種人種論，真的沒有任何的興趣。

kolinsky

幽雨听弦 发表于 2015-9-1 14:13
隐私法是必然的。都是这样，技术先发展，后面坠着的是politics，然后后面拖着一个哭着喊着的法制{:5_387: ...

法律都是在技術之後的。

哪個學法律的也沒有辦法爲未來設立法律，比如器官克隆法什麼的。

Linux_Handy

kolinsky 发表于 2015-9-1 22:16
發現腦子燒壞的人還蠻多啊。

德國爲什麼不適合從事IT業？也不去問問Von Neumann是哪國人。

我對這種人種論，真的沒有任何的興趣。

SB，一下就暴露你的无知，睁大你丫的狗眼看看:

约翰·冯·诺伊曼（英语：John von Neumann，1903年12月28日－1957年2月8日），匈牙利语原名：Neumann János，出生于匈牙利的美国籍犹太人数学家，现代计算机创始人之一。他在计算机科学、经济、物理学中的量子力学及几乎所有数学领域都作过重大贡献。

冯·诺伊曼一生中发表了大约150篇论文，其中有60篇纯数学论文，20篇物理学以及60篇应用数学论文。他最后的作品是一个在医院未完成的手稿，后来以书名《计算机与人脑》发布，表现了他生命最后时光的兴趣方向。

我实在被这SB弄得能tod lachen。

这世界这么大号的SB头一次见。

就你丫肚里那么点烂屎赶紧滚回狗窝看书去吧。这么基本的计算机科学常识丫都不知道还跟这吠。你丫哪国的野鸡大学出来的。

孙子，爷爷给你科普一下:

1913年，他父亲买了一个爵位，冯·诺伊曼晋身贵族，成为János von Neumann。

你丫那脑袋烧坏前就不好使。