百度文件系统BFS v0.5.0 发布



百度文件系统

百度的核心业务和数据库系统都依赖分布式文件系统作为底层存储,文件系统的可用性和性能对上层搜索业务的稳定性与效果有着至关重要的影响。现有的分布式文件系统(如HDFS等)是为离线批处理设计的,无法在保证高吞吐的情况下做到低延迟和持续可用,所以我们从搜索的业务特点出发,设计了百度文件系统。

核心特点

  1. 持续可用
    • 数据多机房、多地域冗余,元数据通过Raft维护一致性,单个机房宕机,不影响整体可用性。
  2. 高吞吐
    • 通过高性能的单机引擎,最大化存储介质IO吞吐;
  3. 低延时
  4. 水平扩展
    • 设计支持两地三机房,1万+台机器管理

架构

百度文件系统BFS v0.5.0 发布

快速试用

构建

./build.sh

单机版BFS

cd sandbox
./deploy.sh
./start_bfs.sh

如何参与开发

  1. 阅读RoadMap文件或者源代码,了解我们当前的开发方向
  2. 找到自己感兴趣开发的的功能或模块
  3. 进行开发,开发完成后自测功能是否正确,并运行make test及make check检查是否可以通过已有的测试case
  4. 发起pull request
  5. 在code-review通过后,你的代码便有机会运行在百度的数万台服务器上~

联系我们

邮件: opensearch@baidu.com

QQ群:188471131

 


本站部分文章源于互联网,本着传播知识、有益学习和研究的目的进行的转载,为网友免费提供。如有著作权人或出版方提出异议,本站将立即删除。如果您对文章转载有任何疑问请告之我们,以便我们及时纠正。

PS:推荐一个微信公众号: askHarries 或者qq群:474807195,里面会分享一些资深架构师录制的视频录像:有Spring,MyBatis,Netty源码分析,高并发、高性能、分布式、微服务架构的原理,JVM性能优化这些成为架构师必备的知识体系。还能领取免费的学习资源,目前受益良多

转载请注明原文出处:Harries Blog™ » 百度文件系统BFS v0.5.0 发布

赞 (0)
分享到:更多 ()

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址