注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

Ooi Beng Chin 黄铭钧

Databases, Machine Learning and Systems

 
 
 

日志

 
 

内存数据管理剖析:Memcached vs Redis vs RDD  

2013-12-03 09:45:38|  分类: 默认分类 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

 

epiC最初被设计为基于磁盘的分布式数据管理和处理平台。最近我们在研究多种方法来使epiC更加“内存化”,通过把尽可能多的数据驻留在内存,从而避免了每次处理后都要写回磁盘。

我们着手对适合内存数据管理的系统(包括两个流行的系统和一个新兴的系统)进行性能分析,分别是Memcached、RedisResilient Distributed Dataset (RDD)。通过对数据分析操作和细粒度对象操作(例如set/get操作)的全面的性能分析,结果显示全部系统均不能同时高效地支持这两类操作。对于Memcached和Redis,其性能瓶颈在于TCP协议的CPU性能和I/O性能 - 即使在同一台机器上访问内存对象;而RDD依靠顺序扫描,不能高效地支持随机对象查找,因此内存读写成为了瓶颈。我们的分析还揭示了欲实现高效的内存数据管理所需具备的一系列特征[1]。

Reference:

1. H. Zhang, B.M. Tudor, G. Chen, B.C. Ooi: Efficient In-memory Data Management: An Analysis, VLDB 2014.

2. 源码下载

  评论这张
 
阅读(660)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017