YourHDFS - 封装了 Hadoop Client 的 API


Apache
跨平台
Java

软件简介

一个封装了Hadoop
Client的简单、方便的API,已经在生产环境中经受日千万级别次IO操作的检验。

支持以下功能:

1)自定义HDFS目录前缀

2)支持时间目录格式

3)支持按文件固定大小切分

4)支持一段时间内无IO操作文件自动关闭

5)支持中文

6)支持namenode自动探测实现failover.

7)API本身是线程安全的.

8)API的参数发生变化对用户使用是透明的,框架内部透明处理, [线程,参数]组合对应着一个文件。

HDFS的原理图: