注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

Ooi Beng Chin 黄铭钧

Databases, Machine Learning and Systems

 
 
 

日志

 
 

LogBase: 基于日志结构的分布式数据库系统  

2012-11-24 17:43:20|  分类: 默认分类 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

      许多计算机应用服务对数据的存储速率有很高的要求,比如金融业务(证券交易等)。在近几年中,相比数据读取速率,网络应用服务越来越重视数据的存储速率。预写式日志技术(Write Ahead Logging)是在数据存储系统中很常用的一项技术。它可以在不影响系统性能的情况下提供数据恢复等功能。但是,这项技术需要系统维护单独的日志文件。由于数据文件与日志文件是分开存储的,日志文件本身也会对系统带来额外的维护代价。因此,这在数据写入速率很高的应用中就会限制最大数据写入速率,并且延长数据恢复所需的时间

这些需要高速率数据写入的应用服务对后台的存储系统一般都有以下需求:

1) 高数据写入吞吐量。在这些应用中,在很短的时间段内可能会出现大量需要写入数据的操作,同时要求这些数据能够以最快的速度被后台系统纪录下来。高吞吐量保证了系统可以处理随时可能出现的大量数据。

2) 系统资源动态调节能力。存储系统需要能够支持动态系统资源分配来处理不断变化的工作负载。也就是说,根据当前系统处理的数据量来动态增加或减少提供给该应用服务的系统资源。

3) 多版本数据的快速访问。支持多版本数据访问是非常有必要的。很多应用会在整个数据库中访问所有历史数据来进行数据分析处理,比如证券交易趋势分析或者是用户行为分析。 

4) 事务操作的语义支持。在一般应用程序中,开发者需要在程序中自己处理数据一致性等问题。为了减轻应用开发者的工作量,数据存储系统应该支持语义层面的数据操作。也就是说,支持在一个事务操作中处理多个数据的读取和写入并且保证整个事务操作的数据一致性。 

5) 从机器故障中快速恢复。在大规模分布式系统中,单个机器的故障非常常见,因此在最短的时间内处理系统故障并完成数据恢复对于任何一个大规模系统都是非常重要的。

LogBase[2]项目是于2010年中旬开始策划,并于2011年初开始开发的。到现在已经开发了很多核心模块,包括底层数据存储系统,数据索引结构以及查询处理模块等。为了使得索引结构更适用于高速率数据写入的环境中,使用的索引技术必须是轻量级的[3],不能因索引的维护操作而成为数据写入性能的瓶颈。该项目所面向的应用包括基于传感器收集数据的科学数据处理,以及有大量新数据写入但不经常修改已有数据的Web2.0应用系统等。在 [1], 我们提供开放源码下载,安装和应用介绍.

虽然LogBase不是新加坡国立大学和上海交通大学合作项目E2S2的一部分,但是LogBase的研究内容与其有着很大关联。E2S2更着重于研究数据分析和查询技术,而并非后台的数据库。

 

References:

 1. LogBase 项目网站  / Open source 下载:  http://www.comp.nus.edu.sg/~logbase/;    Logbase 开放源码下载

 2. H. T. Vo, S. Wang, D. Agrawal, G. Chen, B. C. Ooi. LogBase: A Scalable Log-Structured Database System in the Cloud. Int'l Conference on Very Large Data Bases (VLDB), 2012.

3. S. Wang, D. Maier, B.C. Ooi: Light-weight Indexing of Observational Data for Fast Retrieval. Int'l Conference on Very Large Data Bases (VLDB), 2014.

4. F. Li, T. Ozsu, G. Chen, B.C. Ooi: R-Store: A Scalable Distributed System for Supporting Real-time Analytics. 30th IEEE International Conference on Data Engineering (ICDE) 2014.

5. B. C. Ooi et al: Multi-dimensional Indexing of Observational Data. 2014.

 

  评论这张
 
阅读(1231)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017