FileSystemMonitor - 文件系统监听器


Apache
跨平台
Python

软件简介

文件系统监听器,监听某个目录下子文件及文件夹变化,包括增加移动、添加、修改、删除,该软件提供插件式编程,完成对文件系统操作监听的复杂业务。

本程序编写目的:

随着大数据、hpc、ML 等技术普遍应用,应用程序为了满足用户复杂的文件查询,需要使用数据库储存文件相关信息,这样查询速度可以得到保证。

用户的操作习惯:在页面上操作文件;同时在操作系统内部也会操作文件,这样就会出现数据库文件信息与文件系统中文件信息不匹配,怎么解决?各类语言及操作系统均有一些组件可以使用,都需要研发人员进行组装,于是我自己弄了一个文件系统监听器。

该监听器监听某个目录下子文件及文件夹变化,包括增加移动,添加,修改,删除。

本程序提供记录日志的功能:

  • 用户不经过应用程序直接在文件系统中进行操作时(这些操作在监听的目录中),本程序会在日志文件中记录下来。

  • 日志按照时间进行分割,单位(小时),7 天一循环。

本程序对开发者提供自定义插件功能:

  • 开发者根据默认插件类编写自定义的插件,同时重写默认插件的方法,以实现自定义的功能,完成复杂的业务流程。

  • 编写插件很简单,只需要继承 DefPlugin 类即可,之后把自定义插件文件(XXX.py)放入 plugin/目录中即可

  • 本程序默认在 plugin/中提供了一个自定义插件演示的例子程序:MyPlugin.py

  • 本程序支持多个插件共同运行

友情提示:插件可以使用 resetful 方式进行跨平台/系统处理,具体参看 MyPlugin.py 中的说明。

注意:事件阻塞式操作/同步操作请在插件中自行设置超时时间及异常捕获。

本程序结构:

plugin| #插件目录
DefPlugin.py #插件父类,内部已实现目录的监听日志记录工作。
MyPlugin.py #插件演示Demo,里面记录了插件编写方式,及测试例子。
FileSystemMonitor.py #监听器主类,

python FileSystemMonitor.py # -h 后面跟上-h参数可以查看参数说明。
SysUtils.py #常用工具类
monitor.conf.sample #配置文件的模板,程序运行目录中复制一份,重命名为:monitor.conf,修改一下内容即可。

本程序运行前提条件:

Python 环境:2.6+,小于3.0(3.0+ 未测试,本人只熟悉 2.X 的编程)
Python 插件:watchdog
OS:ubuntu16/centos6.7 已测,其他操作系统未测试

本程序运行方法:

在程序目录下复制 monitor.conf.sample 并重命名为:monitor.conf,修改其中内容。

按照自己的需要进行配置,如下参数:
下面是正/常日志名称
log_file_name=monitor.log
日志文件路径
log_file_path=/home/lee/monitor/log/
监听的目录
monitor_path=/home/lee/monitor/test1/

查看命令行参数
Python FileSystemMonitor.py # -h 后面跟上-h参数可以查看参数说明。

参数1 : -h, 帮助提示
参数2 : -c,–conf=, 配置文件绝对路径,不配置该参数,程序默认在程序根目录找”monitor.conf”文件,文件不存在将报错。
用法:python FileSystemMonitor.py -c /home/lee/monitor/monitor.conf
参数3 : -p,–printlog=,屏幕打印log开关,
取值范围:debug/info/warn/error,目前只实现debug与非debug模式。
用法:python FileSystemMonitor.py -p debug