技术前沿您现在的位置:主页 > 技术前沿 >

Hadoop是如何不断壮大起来的

发布日期:2017-12-29 09:20

       有人认为 Hadoop 正在不断衰退,但硅谷数据处理 Hortonworks 的 Vamsi K. Chemitiganti 并不这么看,他在自己的博客上写了一篇论说自己观念的文章,他认为达尔文式的开源生态系统正在保证Hadoop 成为安定和老到的技术途径。谈论具有建设性,但问题在于其谈论依据一些毫无依据的假定。在深入研究之前,我们要考虑其间的布景。
    公司业务中数字架构的出现意味着公司能够与全球客户/消费者/患者持续地在线互动。其目的并不只仅是为了供应和睦的可视化内容,而是为了供应跨途径,多类型的个性化效力。
  移动运用首要迫使企业将效力方法晋级为与消费者在多途径中打开沟通。例如银行,全部银行现在都涵盖了四到五种效力方法:移动 app、电子银行、呼叫中心、方便银行等。医疗保健业有期望成为下一个改动相貌的工作,护理人员现已初步选用 iPad 来帮助确诊,存储和处理患者的药物和疾病数据。大数据技术的展开是为了打败以往方法(RDBMS 和 EDW)的局限性,处理在数字运用库房中数据架构和分析的应战。
  那篇文章有几个假设,西安Java培训则整理了以下几点:
  假定 1:Hadoop 选用不再添加,最多持平
  我日常作业中的最重要的部分是与多个客户协作谈论他们的业务计划以及寻找运用技术来处理这些凌乱难题的方法。
  我能够证明最大企业对 Hadoop 的选用必定没有停滞不前。尽管我的观念必定是道听途说,而且不是来自于企业内部的底细,但在银工作、电信业、制造业和保险业,Hadoop 的选用却实真实在地在飞涨。
  在前期就与抢先的供货商协作的企业现已或多或少找到了将这项技术运用于它们的业务难题的好方法。选用 Hadoop 的方式正在老到,而且它们也正在意识到其间巨大的商业价值。一家抢先的供货商 Hortonworks 在结束 1 亿美元年收入的道路上比其它任何科技创业公司都跑得快——这是该领域潜力的有力证明。Cloudera 刚刚现已上市。在见证着这样的添加的一起,我们也看到抢先的 EDW 供货商的收入和股价却略有下跌。
Hadoop的发展
   假定 2:运用 Hadoop 创造的项目的商业价值不显着
  该作者在这方面还有点道理,但让我解释一下为什么这是组织组织所面对的难题,而实际上并不是任何技术库房(中间件或云或大数据)的差错。IT 部分当然能够将 POC(概念验证)作为一门科学或一项「一次性简历构建」项目而初步,但其业务线需求从一初步就参与进来,比其它任务技术类别都早。大数据并不是关于存储许多数据的基础设施的施工,而是关于如安在收集和策划的数据上创造业务分析。
  假定 3:关于 PB 级的大规划数据,大数据是仅有可行的技术处理计划
  该作者写道:「如果你的企业没有巨量数据的问题,你真的用不着 Hadoop,所以数以百计的企业都对他们无用的 2 到 10 TB 的 Hadoop 集群感到非常失望——在这种规划上,Hadoop 技术没有任何优势。」
  这并不能从实际情况上观察到,因为以下三个原因:
  首要,大多数 TB 级的项目都是租借的更大规划的集群。数据湖的真实价值是在跨组织的数据库上构建,而在此之前,这么做需求高昂的本钱,或许难度太大。一旦你将全部数据都会合到了一处,那么你就能够将它们混合起来,以一种前所未有的方法对其进行分析。
  其次,正如我将在下面说的那样,许多玩家正在运用大数据来在操作 TB 级的数据的一起获得要害的「速度」优势。
  第三,我举荐每一个客户从「小」初步,并将数据湖用作企业登陆区——用于企业惯例业务运营所发生的数据。Hadoop 集群不只可被用作廉价的存储,但也可用于执行一些重复但核算密集型的数据处理任务(数据衔接、排序、切割、binning 等等),这能将企业数据库房(EDW)从一系列深重的作业中脱节出来。
  假定 4:很难找到 Hadoop 人才
  作者的话——「尽管 57% 的人认为,技术间隔是首要原因,这个份额也不会一夜之间发生改动。
  这正好与 Indeed 的发现契合:他们追寻了『Hadoop 测验』岗位情况,2014 年中期,招聘广告百分比最高为 0.061%,但是,2016 年增至 0.087%,18 个月里添加了 43%。这些情况可能预示着,选用 Hadoop 并没有下降到那些传闻臆想所暗示的程度,不过,公司也很简单发现他们很难从公司其时团队的 Hadoop 那里结束价值,他们需求更好的专业技术人才。」
  这个技术间隔是的确存在的且首要存在这三个领域——数据科学家、数据工程师以及 Hadoop 处理员。不过,这并不是 Hadoop 独有的难题,实际上每种新技术都会有这种烦恼。公司要通过增强内部职工的的技术、与全球系统集成商(GSI)、与学术界协作来弥合这个间隔。实际上,从事大数据项目的前景会招引人才参与组织。
  总结
  大数据生态系统和 Hadoop 技术为全球笔直领域的组织供应了一个老到、安稳和功用丰盛的途径来实施凌乱的数字化项目。不过,技术的老到度仅仅是一个必要要素。就旨在立异的思维方式而言,组织才华才是驱动内部革新的要害力气。因此,在商业领导、IT 团队以及内部领域专家和处理各个方面,孕育学习的思维方式也很要害。
  关于大数据来说,普世座右铭「一分耕耘一分收获」愈加真实。尽管很简单将某个项目的失利归咎给一项技术、某个公司或许某个技术欠安的人员,但是,你应该与安于现状的思维方式作斗争。