Ooi Beng Chin 黄铭钧

Databases, Machine Learning and Systems

日志

关于我

黄铭钧

文章分类

·默认分类（33）

LOFTER精选

八招诀窍，教你实力撩妹 >

内存数据管理剖析：Memcached vs Redis vs RDD

2013-12-03 09:45:38| 分类：默认分类 | 标签： |举报 |字号大中小订阅

下载LOFTER 我的照片书 |

epiC最初被设计为基于磁盘的分布式数据管理和处理平台。最近我们在研究多种方法来使epiC更加“内存化”，通过把尽可能多的数据驻留在内存，从而避免了每次处理后都要写回磁盘。

我们着手对适合内存数据管理的系统（包括两个流行的系统和一个新兴的系统）进行性能分析，分别是Memcached、Redis 和Resilient Distributed Dataset (RDD)。通过对数据分析操作和细粒度对象操作（例如set/get操作）的全面的性能分析，结果显示全部系统均不能同时高效地支持这两类操作。对于Memcached和Redis，其性能瓶颈在于TCP协议的CPU性能和I/O性能 - 即使在同一台机器上访问内存对象；而RDD依靠顺序扫描，不能高效地支持随机对象查找，因此内存读写成为了瓶颈。我们的分析还揭示了欲实现高效的内存数据管理所需具备的一系列特征[1]。

Reference:

1. H. Zhang, B.M. Tudor, G. Chen, B.C. Ooi: Efficient In-memory Data Management: An Analysis, VLDB 2014.

2. 源码下载

评论这张

转发至微博

阅读(725)| 评论(0)

推荐转载

历史上的今天

在LOFTER的更多文章

this.p={  m:2,
              b:2,
              loftPermalink:'',
              id:'fks_087064083094082074082086082068072087081064093080094065087083',
              blogTitle:'内存数据管理剖析：Memcached vs Redis vs RDD',
              blogAbstract:'<FONT size=\"1\"  face=\"Times New Roman\"   \><FONT size=\"1\"  face=\"Times New Roman\"   \>\r\n<P align=\"left\"  \><FONT size=\"4\"  \>  </FONT\></P\>\r\n<P style=\"TEXT-INDENT: 2em;\"   \><FONT size=\"3\"  \>epiC最初被设计为基于磁盘的分布式数据管理和处理平台。最近我们在研究多种方法来使epiC更加“内存化”，通过把尽可能多的数据驻留在内存，从而避免了每次处理后都要写回磁盘。</FONT\><A name=\"OLE_LINK4\" rel=\"nofollow\"  \></A\><A name=\"OLE_LINK3\" rel=\"nofollow\"  \></A\></P\>\r\n<P style=\"TEXT-INDENT: 2em;\"   \><FONT size=\"3\"  \>我们着手对适合内存数据管理的系统（包括两个流行的系统和一个新兴的系统）进行性能分析，分别是Memcached、Redis</FONT\><A name=\"OLE_LINK2\" rel=\"nofollow\"  \></A\><A name=\"OLE_LINK1\" rel=\"nofollow\"  \><FONT size=\"3\"  \>和</FONT\></A\><FONT size=\"3\"  \>Resilient Distributed Dataset (RDD)。通过对数据分析操作和细粒度对象操作（例如set/get操作）的全面的性能分析，结果显示全部系统均不能同时高效地支持这两类操作。对于Memcached和Redis，其性能瓶颈在于TCP协议的CPU性能和I/O性能 - 即使在同一台机器上访问内存对象；而RDD依靠顺序扫描，不能高效地支持随机对象查找，因此内存读写成为了瓶颈。我们的分析还揭示了欲实现高效的内存数据管理所需具备的一系列特征[1]。</FONT\></P\></FONT\></FONT\>',
              blogTag:'',
              blogUrl:'blog/static/103968235201311394359330',
              isPublished:1,
              istop:false,
              type:0,
              modifyTime:1396717501063,
              publishTime:1386035138259,
              permalink:'blog/static/103968235201311394359330',
              commentCount:0,
              mainCommentCount:0,
              recommendCount:1,
              bsrk:-100,
              publisherId:0,
              recomBlogHome:false,
              currentRecomBlog:false,
              attachmentsFileIds:[],
              vote:{},
              groupInfo:{},
              friendstatus:'none',
              followstatus:'unFollow',
              pubSucc:'',
              visitorProvince:'',
              visitorCity:'',
              visitorNewUser:false,
              postAddInfo:{},
              mset:'000',
              mcon:'',
              srk:-100,
              remindgoodnightblog:false,
              isBlackVisitor:false,
              isShowYodaoAd:false,
              hostIntro:'',
              hmcon:'0',
              selfRecomBlogCount:'0',
              lofter_single:'<iframe width="140" height="560" style="overflow:hidden;" src="http://www.lofter.com/mailEntry.do?blogad=1&blog" frameBorder="0"></iframe>'
            }

{list a as x}
    {if !!x}
    <div class="iblock nbw-fce nbw-f40">
      <a class="fc03 noul" target="_blank" hidefocus="true" href="http://blog.163.com/${x.visitorName}/">
      {if x.visitorName==visitor.userName}
      <img alt="${x.visitorNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.visitorName)}&r=${visitor.imageUpdateTime}"/>
      {else}
      <img alt="${x.visitorNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.visitorName)}"/>
      {/if}
      </a>
      <div class="cwd vname thide">
        {if x.moveFrom=='wap'}
          <a class="noul pnt" target="_blank" href="http://blog.163.com/services/wapblog.html?frompersonalbloghome"><span title="来自网易手机博客" class="iblock wapIcon"> </span></a>
        {elseif x.moveFrom=='iphone'}
          <a class="noul pnt" target="_blank"><span title="来自iPhone客户端" class="iblock iphoneIcon"> </span></a>
        {elseif x.moveFrom=='android'}
          <a class="noul pnt" target="_blank"><span title="来自Android客户端" class="iblock androidIcon"> </span></a>
        {elseif x.moveFrom=='mobile'}
          <a class="noul pnt" target="_blank" href="http://blog.163.com/services/emsblog.html?frompersonalbloghome"><span title="来自网易短信写博" class="iblock wapIcon"> </span></a>
        {/if}
        <a class="fc03 m2a"  target="_blank" hidefocus="true" href="http://blog.163.com/${x.visitorName}/">
          ${fn(x.visitorNickname,8)|escape}
        </a>
      </div>
    </div>
    {/if}
    {/list}

<#--最新日志，群博日志--> <#--推荐日志-->

<p class="fc06">推荐过这篇日志的人：</p>
    <div>
      {list a as x}
      {if !!x}
      <div class="iblock nbw-fce nbw-f40">
        <a class="fc03 noul" target="_blank" hidefocus="true" href="http://blog.163.com/${x.recommenderName}/">
        <img alt="${x.recommenderNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.recommenderName)}"/>
        </a>
        <div class="cwd thide">
          <a class="fc03 m2a" target="_blank" hidefocus="true" href="http://blog.163.com/${x.recommenderName}/">
            ${fn(x.recommenderNickname,6)|escape}
          </a>
        </div>
      </div>
      {/if}
      {/list}
    </div>
    {if !!b&&b.length>0}
    <p  class="fc06">他们还推荐了：</p>
    <ul>
    {list b as y}
      {if !!y}
        <li class="rrb"><span class="iblock">·</span><a class="fc03 m2a" target="_blank" href="http://blog.163.com/${y.recommendBlogPermalink}/?from=blog/static/103968235201311394359330">${y.recommendBlogTitle|escape}</a></li>
      {/if}
    {/list}
    </ul>
    {/if}

<#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇，下一篇--> <#-- 热度 -->

{list a as x}
    {if !!x}
    <div class="hotItem iblock nbw-fce nbw-f40">
      <a class="fc03 noul" target="_blank" hidefocus="true" href="http://blog.163.com/${x.publisherUsername}/">
      {if x.publisherUsername==visitor.userName}
      <img alt="${x.publisherNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.publisherUsername)}&r=${visitor.imageUpdateTime}"/>
      {else}
      <img alt="${x.publisherNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.publisherUsername)}"/>
      {/if}
      </a>
      <div class="cwd vname thide">
        <a class="fc03 m2a"  target="_blank" hidefocus="true" href="http://blog.163.com/${x.publisherUsername}/">
          ${fn(x.publisherNickname,8)|escape}
        </a>
      </div>
      <a class="f-myLikeIcons hottype {if x.type==1} js-liketype{elseif x.type==2} js-reblogtype{elseif x.type==3} js-sharetype{else}{/if}" target="_blank" hidefocus="true" href="http://blog.163.com/${x.publisherUsername}/"> </a>
    </div>
    {/if}
    {/list}

<#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->

页脚

我的照片书 - 博客风格 - 手机博客 - 下载LOFTER APP - 订阅此博客

Ooi Beng Chin 黄铭钧

导航

日志

内存数据管理剖析：Memcached vs Redis vs RDD

历史上的今天

最近读者

热度

在LOFTER的更多文章

评论

页脚