<menu id="mkkac"></menu>
<tt id="mkkac"></tt>
  • <nav id="mkkac"><label id="mkkac"></label></nav>
    <small id="mkkac"><samp id="mkkac"></samp></small>
    English
    联系我们
    网站地图
    邮箱
    旧版回顾



    计算机网络信息中心开发的“PiFlow大数据流水线”
    获“GVP-码云最有价值开源项目”奖

    文章来源:计算机网络信息中心   发布时间:2019-04-12  【字号:     】  

      近日,由中国科学院计算机网络信息中心大数据部团队研发并开源的“PiFlow大数据流水线系统”获2019年开源中国“GVP-码云最有价值开源项目”奖。

      PiFlow系统面向空间科学、高能物理、微生物等学科领域大规模多源异构数据的快速采集、灵活处理和高效存储?#32676;?#24515;关键技术挑战,采用Hadoop/Spark分?#38469;?#23384;储与并行计算技术,实现组件式的大通量、高并发的大数据流水线自动化处理。目前该系统已实现100+的数据处理组件,包括Hadoop、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等,为用户提供所见?#27492;?#24471;的流水线配置界面,从而实现大数据组件?#20581;?#33258;动化采集、清?#30784;?#35745;算、存储及监控的全流程服务,同时支持用户快速自定义数据处理组件的扩展开发,满足数据的个性化处理需求。该系统已支撑了科技资源情报服务、微生物数据中心、领域知识?#35745;?#31649;理与服务等多项重大项目应用。

      开源中国运营有中国最大的代码托管?#25945;ǎ?#30446;前?#36874;?#21153;超过300万的软件开发者。计算机网络信息中心大数据团队将陆续发布大数据采集、大数据融合存储及复杂网络挖掘等一系列核心软件和工具。

      

     



    (责任编辑:程博)

    附件:

    专题推荐

    相关新闻


    © 1996 - 中国科学院 版权所有 京ICP备05002857号  京公网安备110402500047号  联系我们

    地址:?#26412;?#24066;三里河路52号 邮编:100864

    今天安徽25选5开奖结果查询
    <menu id="mkkac"></menu>
    <tt id="mkkac"></tt>
  • <nav id="mkkac"><label id="mkkac"></label></nav>
    <small id="mkkac"><samp id="mkkac"></samp></small>
    <menu id="mkkac"></menu>
    <tt id="mkkac"></tt>
  • <nav id="mkkac"><label id="mkkac"></label></nav>
    <small id="mkkac"><samp id="mkkac"></samp></small>
    体彩e球彩怎么看中奖 vip动画制服美女俱乐部yenna 北京赛车pk10开奖号 江苏开奖结果十一选五 时时彩高手分享经验 玩摆脱游戏哪个网站好 极速赛走势图怎么看 韩国28是第三方开奖吗 山东时时开奖结果 天津快乐十分钟爱彩了