《成功实施Hadoop的10个优先事项》

  • 来源专题:网络信息技术发展趋势扫描服务
  • 编译者: 袁慧
  • 发布时间:2015-12-02
  • 开源的Apache Hadoop是一个使用简单编程模型的、跨集群的大规模数据分布式处理框架。换句话说,这是一个大数据,数据仓库和大数据分析工具。数据仓库研究所(TDWI)一个最佳实践调查报告中指出计划在生产中使用Hadoop集群的企业数量大幅增加。到2016年第一季度,受调查者在生产中使用Hadoop的数量将从今年早些时候报告的16%提升到60%。进一步加强Hadoop作为未来的一个企业级工具,排斥Hadoop的组织已经从2012年的27%下降到6%。

    基于这样的速度,TDWI预测五年内Hadoop将成为主要的实践方法。根据Hadoop在企业中的应用汇总的调查结果,TDWI提出了一份包含10个重要事项的清单(他们称之为建议,要求或规则),它可以帮助新的企业从Hadoop中获得最大的利益。

    1:要以开放的姿态对待Hadoop和其他新选择

    企业应接受使用开放源代码,接受分析、数据结构和来源的新形式,以及利用大数据的新企业方法。TDWI写到:“你可以拥抱和引导变革并因此而进步,也可以保持现状与机会擦肩而过。”

    2:在企业级Hadoop大数据的基础上创新

    89%TDWI调查受访者认为Hadoop是一个创新的机会。该报告的作者建议使用Hadoop来扩大数据挖掘和统计分析数据样本,使用社交数据完善客户视图,并利用Hadoop的低成本来创新企业预算编制,基础设施配置和资金。

    3:基于Hadoop在业务和技术需求上的应用

    TDWI认为Hadoop的任意一个好处——先进的分析,大数据的利用,数据的探索,延长较旧的数据管理平台,归档,控制成本——都有足够的吸引力来认真考虑它。报告中他们还补充说:如果你的组织有这些需求,他们将引导你使用更深入的企业级Hadoop。

    4:了解障碍,以便你可以跨越他们

    报告中所描述的障碍包括:业务支撑薄弱,安全问题,以及过度手工编码。TDWI写道“永远不要让这些阻止你”。受访者有办法解决这些问题,并且Hadoop生态系统的持续发展正在努力解决这些障碍。

    5:对Hadoop和大数据管理(也许是新职员)进行培训

    公司应注重培训和招聘数据专家——数据分析师,数据科学家以及数据架构师——这些人可以开发数据探索,分析,归档和内容管理的应用程序。该报告的作者写道:“如果有疑问,雇佣和培训数据专家来进行大数据的管理,而不是应用专家。”当TDWI问到受访者如何配置Hadoop职员时,73%的受访者正在对现有的员工进行培训; 41%的受访者正在招聘有相关经验新员工; 36%的受访者正在使用咨询顾问。

    6:增选Hadoop来重新考虑数据和内容架构的经济性

    报告受访者描述了他们是如何在他们的环境中开发多平台的,每个平台都是特定工作负载和用户需求中同类最佳的。这也导致了新的成本模型,企业可以直接通过成本最低的平台完成数据处理工作。“Hadoop的低成本是在本企业范围内变更IT组合和架构的主要驱动力”,数据仓库研究所写道。

    7:通过定义架构中Hadoop的位置来为混合数据生态系统做准备

    TDWI认为Hadoop“企业价值”的应用案例将会越来越被新用户理解。较为成功的“启动器”使用案例包括:在数据仓库环境中分段运输,使用Hadoop作为大型数据集的共同位置点以促进广泛的数据探索,进行高级数据分析处理,以取代陈旧的档案,并作为内容管理系统的延伸。

    8:考虑Hadoop在普遍的BI /DW和分析应用之外的使用情况

    BI/DW代表商业智能和数据仓库。作者写道:“存档和备份系统在大多数公司已经变得过时和无效。”Hadoop的低成本和可扩展性使其使用案例有吸引力。根据调查的受访者反映,其他的使用案例包括:内容管理,文档管理和记录管理。

    9:寻找使Hadoop数据呈现相关性的功能

    包括基于SQL的分析,关系型功能是企业采用Hadoop的必不可少的功能,因为高配置的用例需要它们。很多厂商和开源组织正在开发改进使Hadoop对SQL有更好的支持,该报告的作者强调这些改进不会减损Hadoop作为一个NoSQL平台的“独特能力”。“Hadoop的强大之处是,它支持多种方法和多种类型数据的能力”,TDWI写道。并补充说,以这种方式“Hadoop几乎每天都在变得更加多样化。”

    10:开发和应用企业级Hadoop策略

    最后,对Hadoop不熟悉的组织应该从概念验证(POC)项目开始,该项目将评估多个用例的商业价值。其出发点可能包括探索,发现和分析大数据的具体形式。该POC团队还可以测试数据仓库扩展、归档、内容管理和存储配置的能力。作者写道该POC项目的最终目标是“创造基于Hadoop的应用程序并最终横跨整个企业。”

相关报告
  • 《研究人员分析美国新生物防御战略实施可能存在的问题》

    • 来源专题:生物安全知识资源中心 | 领域情报网
    • 编译者:huangcui
    • 发布时间:2018-11-16
    • 10月2日,兰德公司研究人员Daniel M. Gerstein(曾任美国国土安全部科技司代理副司长)在Real Clear Defense网站发表一篇文章《实现特朗普政府的国家生物防御战略》(Achieving the Trump Administration’s National Biodefense Strategy)。文章指出,特朗普政府于9月18日发布了《国家生物防御战略》。该战略认为,生物威胁是美国面临的最为严重的威胁。这种威胁分为两类:一是自然发生的生物威胁,即传染病可能在全球迅速传播,直接影响美国人口健康、安全和繁荣;二是蓄意和意外的生物威胁,主要是国家或非国家行为体使用或扩散生物武器,对国家安全、人口、农业和环境构成重大挑战。该战略为管理生物威胁提供了坚实的基础,但可能需要制定更多的文件来充分实现其目标。 在解决这个两党问题时,美国政府很大程度上是建立在乔治•布什和巴拉克•奥巴马政府的生物防御战略的基础上。这三项战略的共同之处包括:认识到生物威胁的全球性质;需要与包括外国合作伙伴、州和地方当局以及行业在内的一系列关键利益攸关方进行合作;以及在准备和响应活动中进行基于风险的决策的必要性。与奥巴马一样,特朗普的战略还附带了一份实施文件,该文件提供了关于如何实现目标的更多细节。这种一致性一方面反映了特朗普战略的实力,另一方面,由于布什和奥巴马的战略都没有完全实现,阻碍全面实施早期战略的问题可能也将限制特朗普战略的前景,从而引起了一些担忧。 首先,确保充足的资源至关重要。每个生物防御战略都包含有明确的目标。随附的实施计划为如何实现这些目标提供了方向,但包括新的特朗普战略在内的所有计划都没有明确说明所需资源将来自何处。要把计划变成行动,需要充分的资源。最近的《国防授权法》开始确定资源,反映了将来发展的趋势。关键的第一步可能是确定所涉及的联邦机构和相关部门当前的生物防御支出水平。 其次,管理可能再次成为实施新生物防御战略的问题。布什政府生物防御战略的实施主要由个别内阁级别的部门和机构负责。战略所需的资源分配到相应的实施组织,政府对其进行了一些协调,但并未在整个政府中制度化或通过永久性的集中机构进行管理。奥巴马政府从早期战略的实施中汲取教训,建立了国家安全委员会(NSC)领导的流程,要求各个部门和机构制定同步的计划。管理和预算办公室通过国家安全委员会同步部门和机构计划,根据生物防御战略的优先次序分配资源。事实证明,这既麻烦又难以管理。特朗普政府的生物防御战略规定了管理组织,由卫生部部长负责,作为专门的实施机构,以协助监测战略的实施。虽然这将责任和权力集中在一个部门内,但是单个部长是否具有影响其政府同僚的影响力还有待观察。有趣的是,由宾夕法尼亚州前州长Tom Ridge和前康涅狄格州参议员Joe Lieberman共同主持的生物防御两党蓝带研究小组在2015年的报告中指出了这一管理缺陷,并建议副总统应协调国家生物防御工作。这一建议是根据生物防御的交叉性质和在复杂问题上部门间协调的固有困难而提出的,但从未付诸行动。 最后,建立势头和保持贯彻应该是任何生物防御战略的基本要素。实施复杂的跨部门计划需要领导的关注、可衡量的指标来评估进展、以及充足的资源。此外,可能还需要充分的法庭压力来发展这些机构,并将这一总体战略置于个别部门和机构的优先事项之上。 特朗普政府的战略包含了应对当前和未来生物威胁,成功实施生物防御战略的基础。该战略和实施文件应被视为解决这一至关重要威胁的漫长过程中的第一步。
  • 《四川实施“三年推进方案”来解决城镇污水垃圾问题》

    • 来源专题:生活污水治理
    • 编译者:shenxiang
    • 发布时间:2017-06-26
    • 四川新闻网成都6月19日讯(记者 戴璐岭 李丹 周子铭 摄影报道)6月19日上午10时,解读省第十一次党代会精神第四场新闻发布会在成都举行,本场发布会主题为“坚定推进生态优先绿色发展”。四川省环境保护厅厅长于会文,林业厅厅长尧斯丹,省发展改革委副主任、省铁路机场办专职副主任代永波,住房城乡建设厅副厅长邱建就相关情况进行介绍并回答记者提问。 目前全省正全面贯彻推进绿色发展、建设美丽四川的决定,住房城乡建设厅结合规划建设和管理方面的职能职责,做了大量卓有成效的工作。今天的发布会上,住房城乡建设厅副厅长邱建在回答记者提问时表示,按照省委关于推进绿色发展建设美丽四川的要求,省政府将污水垃圾治理工作作为打好大气、水、土壤"三大战役"的重要抓手,将污水垃圾处理设施建设纳入20项民生工程加以推进,启动实施了城镇污水处理和城乡垃圾处理设施建设"三年推进方案"。总体目标是:力争通过三年努力,到2019年底,提前一年完成国家下达的污水垃圾处理"十三五"目标,全省三年计划实施生活垃圾处理设施项目395个、计划投资261亿元,生活污水处理设施项目1213个、计划投资389亿元。     邱建表示,“三年推进方案”结合全省污水垃圾处理现状,提出了设施建设的三个重点方向,即"百镇建设行动"300个试点镇,岷江、沱江、涪江和嘉陵江等重点流域小城镇,以及未建污水垃圾处理设施的部分县城和其他镇乡,辐射带动农村污水垃圾治理。在项目安排上,以生活污水和生活垃圾处理为主,统筹推进工业废水、建筑垃圾、工业垃圾、医疗垃圾处理处置。     此外,"三年推进方案"提出了五大建设任务。一是抓规划统筹,科学布局污水垃圾处理设施。以四大城市群或市(州)为单位统一规划布局污水垃圾处理重点项目,强化污水管网等配套设施建设,统筹建设城市、县城、建制镇、乡村的生活垃圾收运体系,避免城市之间重复建设、资源浪费。   二是抓集中处理,提高污水垃圾处理能力。污水处理主要是加快城镇生活污水集中处理设施和配套管网建设,实施已建处理设施提标升级改造,推进集中式工业废水处理厂建设;垃圾处理主要以环保焚烧发电为主,区域共建共享环保发电设施,加强收集设施和转运设备的提档升级改造,完善"户分类、村收集、镇运输、县处理"机制。     三是抓循环利用,提高污水垃圾资源化再生利用水平。按照"集中利用为主、分散利用为辅"原则,推动生活污水再生利用,推行生活垃圾分类,加强垃圾资源化利用,加快餐厨垃圾处理设施和收运系统建设。     四是抓重点治理,大幅降低污水垃圾造成的环境污染。主要抓好城市黑臭水体、农业面源污染、农村生活污水、存量垃圾4大治理工程。     五是抓运行监控,提高污水垃圾处理监管能力。依托全省城市管理数字化平台,加快全省污水垃圾处理监管系统建设,到2018年底,全省所有运营的生活污水和生活垃圾处理设施全部实现在线监管。支持政策上,省政府正在研究整合住建、环保、发改、水利等部门涉及污水和垃圾治理方面的有关资金,对"三年推进方案"项目进行支持。三年内,还将发行由省财政全额贴息的90亿元地方政府债券,专门支持重点项目建设。     邱建介绍,在推进模式上,将推广“广安模式”,坚持全域统筹规划、市州统一打包、投建营运一体、收集处理一体、政府购买服务,以市州为主体通过PPP模式选择有实力、有技术、有人才、有运营经验的大企业、大集团进行投资建设运营,从而缓解当期财政支出压力、撬动社会资本加快设施建设,吸引专业力量参与污水垃圾治理,充分利用每年政府购买服务支出约束企业按约定条件持续运行,确保三年目标实现。