注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

Ooi Beng Chin 黄铭钧

Databases, Machine Learning and Systems

 
 
 

日志

 
 

Apache SINGA v1.0: Distributed Deep/Machine Learning 分布式深度/机器学习平台  

2014-08-20 20:28:40|  分类: 默认分类 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

Apache SINGA 分布式深度学习 (Deep Learning) 平台 - 黄铭钧  - Ooi Beng Chin   黄铭钧
  

深度学习(deep learning)可以说是神经网络的品牌重塑,因为它继承了神经网络研究中很多关键的算法技术。它因为最近在图像识别与语音识别领域取得突破性的成功而再次得到了大家的关注[1, 2]。两个关键因素使得深度学习获得如此大的成功:计算能力的大幅度提升以及训练数据的大规模增加。 现在大部分开源的深度学习软件工具和平台都是用单个的GPU节点,这种方法不仅限制了模型的规模也限制了训练数据集的规模。

       分布式训练方法能帮助大规模的深度学习训练,而且也得到了学术界和工业界的关注。利用我们已有的开发分布式数据库系统的经验,我们开发了SINGA(狮子),  一个Apache开源的分布式深度学习平台。SINGA具有三方面的特性,可用性,可扩展性和外延性[5, 6, 7, 9]。SINGA的模型很容易地让别人使用,就像其他的大数据分析平台一样(比如说Hadoop和epiC)。具体来说,用户通过结合不同的运算符(神经网络层)来构建他们的模型,SINGA平台负责在运行时优化由于分布式处理和计算节点之间的通信而带来的开销。系统的可扩展性则是通过将训练数据和模型进行切分并且分发到不同的计算节点中进行训练来实现的。同时,我们使得SINGA代码模块化以支持不同类型的深度学习模型和不同的训练(优化)算法。SINGA系统的特点总结如下图。

Apache SINGA v0.2.0: Distributed Deep Learning 分布式深度学习平台 - 黄铭钧  - Ooi Beng Chin   黄铭钧
 

 

现在,我们已经扩展了Apache SINGA的功能, 也扩展为分布机器学习平台。  v1.0 [8] 已经使用Apache许可证(2.0版本)发布,SINGA 的代码和更多具体的细节也发布在我们的项目主页 [3, 4] 中。我们热诚地邀请更多的开发者作为Apache committer/developer 参与到我们的 Apache SINGA 项目中来[3, 4]。 下图提供了与其他系统的比较。

 

Apache SINGA v0.2.0: Distributed Deep Learning 分布式深度学习平台 - 黄铭钧  - Ooi Beng Chin   黄铭钧
  
 
 
参考文献:

[1] W. Wang, B.C. Ooi, X. Yang, D. Zhang, Y. Zhuang: Effective MultiModal Retrieval based on Stacked AutoEncoders. Int'l Conference on Very Large Data Bases (VLDB), 2014.   

[2]  W. Wang, X. Yang, B.C. Ooi, D. Zhang, Y. Zhuang. Effective Deep Learning Based Multi-Modal Retrieval. VLDB Journal special issue of VLDB'14 best papers, 2015.

[3] Apache SINGA 源码下载:   http://www.comp.nus.edu.sg/~dbsystem/singa/

[4] Apache SINGA 开发计划和时刻表: http://singa.apache.org/develop/schedule.html

       [5] W. Wang, G. Chen, T. T. A. Dinh, J. Gao, B. C. Ooi, K.-L.Tan, and S. Wang. SINGA: Putting Deep Learning in the Hands of Multimedia Users.  ACM Multimedia 2015.

       [6]  B. C. Ooi, K.-L. Tan, S. Wang, W. Wang, Q. Cai, G. Chen, J. Gao, Z. Luo, A. Tung, Y. Wang, Z. Xie, M. Zhang, K. Zheng. SINGA: A Distributed Deep Learning Platform. (Open Source Software Competition) ACM Multimedia 2015.

       [7]  J. Gao, H.V. Jadadish, B. C. Ooi:   Active Sampler: Lightweight Accelerator for Complex Data Analytics at Scale. Technical report. http://arxiv.org/pdf/1512.03880.pdf   2015.

       [8] Apache SINGA v1.0, September 2016. Extended to support machine learning models/algorithms.

       [9] W. Wang et al: Deep Learning at Scale and At Ease ACM Transactions on Multimedia Computing Communications and Applications -- Special Section on Best Papers of ACM Multimedia 2015, Volume 12 Issue 4s, November 2016.

        [10]  https://en.wikipedia.org/wiki/Apache_Singa

  评论这张
 
阅读(2834)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017