《成功实施Hadoop的10个优先事项》

  • 来源专题:网络信息技术发展趋势扫描服务
  • 编译者: 袁慧
  • 发布时间:2015-12-02
  • 开源的Apache Hadoop是一个使用简单编程模型的、跨集群的大规模数据分布式处理框架。换句话说,这是一个大数据,数据仓库和大数据分析工具。数据仓库研究所(TDWI)一个最佳实践调查报告中指出计划在生产中使用Hadoop集群的企业数量大幅增加。到2016年第一季度,受调查者在生产中使用Hadoop的数量将从今年早些时候报告的16%提升到60%。进一步加强Hadoop作为未来的一个企业级工具,排斥Hadoop的组织已经从2012年的27%下降到6%。

    基于这样的速度,TDWI预测五年内Hadoop将成为主要的实践方法。根据Hadoop在企业中的应用汇总的调查结果,TDWI提出了一份包含10个重要事项的清单(他们称之为建议,要求或规则),它可以帮助新的企业从Hadoop中获得最大的利益。

    1:要以开放的姿态对待Hadoop和其他新选择

    企业应接受使用开放源代码,接受分析、数据结构和来源的新形式,以及利用大数据的新企业方法。TDWI写到:“你可以拥抱和引导变革并因此而进步,也可以保持现状与机会擦肩而过。”

    2:在企业级Hadoop大数据的基础上创新

    89%TDWI调查受访者认为Hadoop是一个创新的机会。该报告的作者建议使用Hadoop来扩大数据挖掘和统计分析数据样本,使用社交数据完善客户视图,并利用Hadoop的低成本来创新企业预算编制,基础设施配置和资金。

    3:基于Hadoop在业务和技术需求上的应用

    TDWI认为Hadoop的任意一个好处——先进的分析,大数据的利用,数据的探索,延长较旧的数据管理平台,归档,控制成本——都有足够的吸引力来认真考虑它。报告中他们还补充说:如果你的组织有这些需求,他们将引导你使用更深入的企业级Hadoop。

    4:了解障碍,以便你可以跨越他们

    报告中所描述的障碍包括:业务支撑薄弱,安全问题,以及过度手工编码。TDWI写道“永远不要让这些阻止你”。受访者有办法解决这些问题,并且Hadoop生态系统的持续发展正在努力解决这些障碍。

    5:对Hadoop和大数据管理(也许是新职员)进行培训

    公司应注重培训和招聘数据专家——数据分析师,数据科学家以及数据架构师——这些人可以开发数据探索,分析,归档和内容管理的应用程序。该报告的作者写道:“如果有疑问,雇佣和培训数据专家来进行大数据的管理,而不是应用专家。”当TDWI问到受访者如何配置Hadoop职员时,73%的受访者正在对现有的员工进行培训; 41%的受访者正在招聘有相关经验新员工; 36%的受访者正在使用咨询顾问。

    6:增选Hadoop来重新考虑数据和内容架构的经济性

    报告受访者描述了他们是如何在他们的环境中开发多平台的,每个平台都是特定工作负载和用户需求中同类最佳的。这也导致了新的成本模型,企业可以直接通过成本最低的平台完成数据处理工作。“Hadoop的低成本是在本企业范围内变更IT组合和架构的主要驱动力”,数据仓库研究所写道。

    7:通过定义架构中Hadoop的位置来为混合数据生态系统做准备

    TDWI认为Hadoop“企业价值”的应用案例将会越来越被新用户理解。较为成功的“启动器”使用案例包括:在数据仓库环境中分段运输,使用Hadoop作为大型数据集的共同位置点以促进广泛的数据探索,进行高级数据分析处理,以取代陈旧的档案,并作为内容管理系统的延伸。

    8:考虑Hadoop在普遍的BI /DW和分析应用之外的使用情况

    BI/DW代表商业智能和数据仓库。作者写道:“存档和备份系统在大多数公司已经变得过时和无效。”Hadoop的低成本和可扩展性使其使用案例有吸引力。根据调查的受访者反映,其他的使用案例包括:内容管理,文档管理和记录管理。

    9:寻找使Hadoop数据呈现相关性的功能

    包括基于SQL的分析,关系型功能是企业采用Hadoop的必不可少的功能,因为高配置的用例需要它们。很多厂商和开源组织正在开发改进使Hadoop对SQL有更好的支持,该报告的作者强调这些改进不会减损Hadoop作为一个NoSQL平台的“独特能力”。“Hadoop的强大之处是,它支持多种方法和多种类型数据的能力”,TDWI写道。并补充说,以这种方式“Hadoop几乎每天都在变得更加多样化。”

    10:开发和应用企业级Hadoop策略

    最后,对Hadoop不熟悉的组织应该从概念验证(POC)项目开始,该项目将评估多个用例的商业价值。其出发点可能包括探索,发现和分析大数据的具体形式。该POC团队还可以测试数据仓库扩展、归档、内容管理和存储配置的能力。作者写道该POC项目的最终目标是“创造基于Hadoop的应用程序并最终横跨整个企业。”

相关报告
  • 《研究人员分析美国新生物防御战略实施可能存在的问题》

    • 来源专题:生物安全知识资源中心 | 领域情报网
    • 编译者:huangcui
    • 发布时间:2018-11-16
    • 10月2日,兰德公司研究人员Daniel M. Gerstein(曾任美国国土安全部科技司代理副司长)在Real Clear Defense网站发表一篇文章《实现特朗普政府的国家生物防御战略》(Achieving the Trump Administration’s National Biodefense Strategy)。文章指出,特朗普政府于9月18日发布了《国家生物防御战略》。该战略认为,生物威胁是美国面临的最为严重的威胁。这种威胁分为两类:一是自然发生的生物威胁,即传染病可能在全球迅速传播,直接影响美国人口健康、安全和繁荣;二是蓄意和意外的生物威胁,主要是国家或非国家行为体使用或扩散生物武器,对国家安全、人口、农业和环境构成重大挑战。该战略为管理生物威胁提供了坚实的基础,但可能需要制定更多的文件来充分实现其目标。 在解决这个两党问题时,美国政府很大程度上是建立在乔治•布什和巴拉克•奥巴马政府的生物防御战略的基础上。这三项战略的共同之处包括:认识到生物威胁的全球性质;需要与包括外国合作伙伴、州和地方当局以及行业在内的一系列关键利益攸关方进行合作;以及在准备和响应活动中进行基于风险的决策的必要性。与奥巴马一样,特朗普的战略还附带了一份实施文件,该文件提供了关于如何实现目标的更多细节。这种一致性一方面反映了特朗普战略的实力,另一方面,由于布什和奥巴马的战略都没有完全实现,阻碍全面实施早期战略的问题可能也将限制特朗普战略的前景,从而引起了一些担忧。 首先,确保充足的资源至关重要。每个生物防御战略都包含有明确的目标。随附的实施计划为如何实现这些目标提供了方向,但包括新的特朗普战略在内的所有计划都没有明确说明所需资源将来自何处。要把计划变成行动,需要充分的资源。最近的《国防授权法》开始确定资源,反映了将来发展的趋势。关键的第一步可能是确定所涉及的联邦机构和相关部门当前的生物防御支出水平。 其次,管理可能再次成为实施新生物防御战略的问题。布什政府生物防御战略的实施主要由个别内阁级别的部门和机构负责。战略所需的资源分配到相应的实施组织,政府对其进行了一些协调,但并未在整个政府中制度化或通过永久性的集中机构进行管理。奥巴马政府从早期战略的实施中汲取教训,建立了国家安全委员会(NSC)领导的流程,要求各个部门和机构制定同步的计划。管理和预算办公室通过国家安全委员会同步部门和机构计划,根据生物防御战略的优先次序分配资源。事实证明,这既麻烦又难以管理。特朗普政府的生物防御战略规定了管理组织,由卫生部部长负责,作为专门的实施机构,以协助监测战略的实施。虽然这将责任和权力集中在一个部门内,但是单个部长是否具有影响其政府同僚的影响力还有待观察。有趣的是,由宾夕法尼亚州前州长Tom Ridge和前康涅狄格州参议员Joe Lieberman共同主持的生物防御两党蓝带研究小组在2015年的报告中指出了这一管理缺陷,并建议副总统应协调国家生物防御工作。这一建议是根据生物防御的交叉性质和在复杂问题上部门间协调的固有困难而提出的,但从未付诸行动。 最后,建立势头和保持贯彻应该是任何生物防御战略的基本要素。实施复杂的跨部门计划需要领导的关注、可衡量的指标来评估进展、以及充足的资源。此外,可能还需要充分的法庭压力来发展这些机构,并将这一总体战略置于个别部门和机构的优先事项之上。 特朗普政府的战略包含了应对当前和未来生物威胁,成功实施生物防御战略的基础。该战略和实施文件应被视为解决这一至关重要威胁的漫长过程中的第一步。
  • 《距离新动物福利法规的实施还有一个月》

    • 来源专题:食物与营养
    • 编译者:殷小溪
    • 发布时间:2018-09-15
    • 加强动物福利制度的新规定将于2018年10月1日生效。 初级产业部(Ministry for Primary Industries,简称MPI)的动物卫生和福利部门负责人克里斯罗德威尔博士表示,45项新法规涵盖了从农场饲养到动物运输等各种动物活动和物种,以及承担陪伴责任和帮助人类完成某些工作的狗和马等物种。 罗德威尔博士说:“在这些新规定生效后的一个月内,鼓励负责任何一种类型动物的人,及时检查他们照顾动物的方式。” “我们的团队一直与动物行业和行业团体合作,以提高对法规的认识,确保人们了解并履行其职责。” “大多数新西兰人已经很好地照顾他们的动物,所以如果你已经做了正确的事情,你将不会看到很多变化。” “大多数规定都维持了现有标准,但也有一些新的规则和要求,例如禁止牛和狗的尾部接触。” “即使你已经认为自己做的是正确的事情,最好还是检查并确保你做到的是正确的。” “其中一个主要变化是新法规将使MPI和防止虐待动物协会(Society for the Prevention of Cruelty to Animals,简称SPCA)更容易对动物虐待采取行动。” “这些规定将使我们能够更好地应对较低级别的犯罪行为,并对需要改变的具体行为采取针对措施。例如,如果人们允许他们的动物牛角向内生长,他们可能被罚款500美元。如果是情节特别严重的罪犯,我们将继续根据动物福利法案对其起诉”。 在制定法规时,考虑了当前的科学、实践经验和提议者的观点。