ITPUB论坛-中国专业的IT技术社区

 找回密码
 注册
查看: 15187|回复: 33

【大话IT】初探企业大数据选型:Hadoop是否已失宠?

[复制链接]
认证徽章
论坛徽章:
198
布鲁克
日期:2016-05-31 16:31:17弗兰奇
日期:2016-05-31 16:31:17妮可·罗宾
日期:2016-07-04 11:53:09托尼托尼·乔巴
日期:2016-05-31 16:31:17山治
日期:2016-05-31 16:31:17乌索普
日期:2016-05-31 16:31:17娜美
日期:2016-05-31 16:31:17罗罗诺亚·索隆
日期:2016-05-31 16:31:17蒙奇·D·路飞
日期:2016-05-31 16:31:17乌索普
日期:2016-08-03 10:26:32
跳转到指定楼层
1#
发表于 2018-5-30 14:01 | 只看该作者 |只看大图 回帖奖励 |倒序浏览 |阅读模式
话题背景Gartner在《2017年数据管理技术成熟度曲线》报告中指出Hadoop到达生产成熟期前即被淘汰(如下图),70%的Hadoop部署无法实现节约成本和收入增长的目标。当然,这并不是Gartner第一次唱衰Hadoop,早在五年前,Gartner研究总监Svetlana Sicular在其博客发表了一篇题为“大数据光环的幻灭”的文章,暗指Hadoop即将过时,大数据泡沫即将随着用户失败案例的增多而破裂。
在国内,大多数企业的大数据架构都基于Hadoop生态,Hadoop生态在大数据领域的标准地位相当稳固,Gartner的这一报告又该如何解读呢?这一结论到底是危言耸听还是确有远见呢?

讨论问题:
1、您对Gartner的报告结论如何看待?就国内现状而言,Hadoop在传统企业的受欢迎程度会和互联网企业相同吗?
2、您认为Hadoop生态最大的优势和劣势分别是什么?Spark生态也在渐渐完善,其机器学习方面的能力更强,未来与Hadoop生态的关系会是什么样的?
3、您认为Hadoop生态中表现最好、生命力最旺盛的组件有哪些?为什么?最容易被替换、表现欠佳的组件又有哪些呢?为什么?
4、您所在的公司属于什么行业?

活动时间:2018年5月30日——2018年7月30日


活动奖品:活动结束后我们会抽取1位优质回复赠送路由器一台,4位获奖者赠送itpub18周年纪念T-恤,参与奖:秀才徽章一枚。



认证徽章
论坛徽章:
2107
亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18
2#
发表于 2018-5-31 08:37 | 只看该作者
沙发  

使用道具 举报

回复
求职 : SAP实施
认证徽章
论坛徽章:
254
土豪章
日期:2018-07-10 16:19:05铁扇公主
日期:2018-07-18 11:13:09
3#
发表于 2018-5-31 09:25 | 只看该作者
4位获奖者赠送itpub18周年纪念T-恤

使用道具 举报

回复
认证徽章
论坛徽章:
168
ITPUB十周年纪念徽章
日期:2011-11-01 16:24:04ITPUB 11周年纪念徽章
日期:2012-09-28 17:34:42ITPUB社区12周年站庆徽章
日期:2013-08-13 16:52:38itpub13周年纪念徽章
日期:2014-10-08 15:21:35ITPUB14周年纪念章
日期:2015-10-26 17:23:44ITPUB15周年纪念
日期:2018-02-09 14:12:58状元
日期:2015-11-19 12:58:23榜眼
日期:2015-11-19 12:58:23探花
日期:2015-11-19 12:58:23进士
日期:2015-11-19 12:59:09
4#
发表于 2018-5-31 09:39 | 只看该作者
图有点参考价值,不过Gartner 现在管得这么“宽”了吗?

使用道具 举报

回复
论坛徽章:
0
5#
发表于 2018-6-1 09:29 | 只看该作者
1.大数据杀熟的新闻被曝光之后,对弱势群体不利 大数据的缺点一下子暴露出来
2.应该加强大数据用到制造业 农业等领域 弥补有些领域的投机取巧
本人公司从事金融行业

使用道具 举报

回复
认证徽章
论坛徽章:
205
2010新春纪念徽章
日期:2010-03-01 11:20:51至尊黑钻
日期:2015-08-13 13:38:12至尊黑钻
日期:2015-02-15 09:47:472015年中国系统架构师大会纪念徽章
日期:2015-07-31 17:48:202015中国数据库技术大会纪念徽章
日期:2015-05-15 14:08:23管理团队2007贡献徽章
日期:2015-01-19 09:48:27红宝石
日期:2015-01-19 09:42:28红宝石
日期:2015-01-19 09:46:08海蓝宝石
日期:2015-02-03 10:23:39红宝石
日期:2015-02-03 10:26:04
6#
发表于 2018-6-1 09:52 | 只看该作者
本话题,要讨论 2 个月?平时不都是 1 个月,或 2 周吗?

使用道具 举报

回复
认证徽章
论坛徽章:
1
秀才
日期:2018-06-21 10:08:00
7#
发表于 2018-6-2 22:54 | 只看该作者
1、您对Gartner的报告结论如何看待?就国内现状而言,Hadoop在传统企业的受欢迎程度会和互联网企业相同吗?
我觉Gartner的报告的有点危言耸听了。Hadoop即使在使用的过程存在问题,但并不是没办法解决的。就国内现状而言,Hadoop在传统企业的受欢迎程度会和互联网企业相同,几乎覆盖全行业。

2、您认为Hadoop生态最大的优势和劣势分别是什么?Spark生态也在渐渐完善,其机器学习方面的能力更强,未来与Hadoop生态的关系会是什么样的?
Hadoop优势是可扩展性,容错性,支持从GB到PB级别多种业务的需求,支持PB级别海量数据批处理的需求;劣势是使用门槛略高,技术迭代快导致学习成本和运维成本升高。
Spark大部分情况下与Hadoop配合出现,Spark作为通用计算引擎,而Hadoop提供存储和资源管理框架等服务。

3、您认为Hadoop生态中表现最好、生命力最旺盛的组件有哪些?为什么?最容易被替换、表现欠佳的组件又有哪些呢?为什么?
Hadoop生态中表现最好、生命力最旺盛的组件有HDFS、ZooKeeper以及HBase。因为无论是Spark还是Flink,底层的文件系统都是HDFS,很少有第三方厂商基于开源再造一个文件系统,HDFS在某种程度上奠定了大数据的基础。此外不少系统集成了ZooKeeper,因为它是分布式应用程序协调服务很关键的工具。在海量数据存储方面,目前看起来比较靠谱的方案依旧是HBase。无论是时间序列数据库还是图数据库底层往往都是HBase,这也说明其性能的优异。
最容易被替换、表现欠佳的组件有MapReduce、Hive、Mahout和Yarn。因为随着硬件越来越成熟,Spark的优化工作越来越好,企业很可能倾向于在内存中计算,MapReduce、Hive这类组件可能被Spark等替换掉。此外,Hadoop在机器学习方面确实不太擅长,Mahout等组件表现不佳,成为不少企业选择Spark的原因之一。最后,资源管理器Yarn与Hadoop的绑定过于紧,而实际上,有很多资源调度管理方法可供选择,比如Kubernetes等,对各种应用的支持某种程度上比Yarn更完善,无论是外部类型应用,大数据应用还是机器学习应用均可处理。

4、您所在的公司属于什么行业?
我所在的公司属于服务业

使用道具 举报

回复
论坛徽章:
4
2010新春纪念徽章
日期:2010-03-01 11:08:272011新春纪念徽章
日期:2011-01-04 10:36:17ITPUB十周年纪念徽章
日期:2011-11-01 16:25:22ITPUB 11周年纪念徽章
日期:2012-10-09 18:13:33
8#
发表于 2018-6-4 11:31 | 只看该作者
一到专业问题的时候就发现,我是混进来的。我只能回答一个问题:
4、您所在的公司属于什么行业?
答:仪器仪表

使用道具 举报

回复
认证徽章
论坛徽章:
198
布鲁克
日期:2016-05-31 16:31:17弗兰奇
日期:2016-05-31 16:31:17妮可·罗宾
日期:2016-07-04 11:53:09托尼托尼·乔巴
日期:2016-05-31 16:31:17山治
日期:2016-05-31 16:31:17乌索普
日期:2016-05-31 16:31:17娜美
日期:2016-05-31 16:31:17罗罗诺亚·索隆
日期:2016-05-31 16:31:17蒙奇·D·路飞
日期:2016-05-31 16:31:17乌索普
日期:2016-08-03 10:26:32
9#
发表于 2018-6-4 13:15 | 只看该作者
wmxcn2000 发表于 2018-6-1 09:52
本话题,要讨论 2 个月?平时不都是 1 个月,或 2 周吗?

嗯嗯,想采取更多的样本

使用道具 举报

回复
论坛徽章:
400
生肖徽章:鼠
日期:2014-07-24 09:00:11生肖徽章2007版:鼠
日期:2009-03-19 21:39:41股神
日期:2012-09-29 10:14:59红钻
日期:2012-11-30 10:49:33黄钻
日期:2012-04-23 12:46:59季节之章:秋
日期:2012-04-23 12:44:40季节之章:秋
日期:2012-01-05 14:00:54季节之章:冬
日期:2011-07-11 18:30:40季节之章:冬
日期:2012-05-20 13:22:14NBA季后赛大富翁
日期:2018-06-13 16:07:24
10#
发表于 2018-6-4 14:40 | 只看该作者
参与奖:秀才徽章一枚

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则

TOP技术积分榜 社区积分榜 徽章 电子杂志 团队 统计 虎吧 老博客 知识索引树 读书频道 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档 | IT博客
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛 | SAP ERP系统
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 网站律师 隐私政策 知识产权声明
京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表
http://www.vxiaotou.com