Hazelcast Jet - 基于 Hazelcast 的分布式数据处理引擎


Apache-2.0
跨平台
Java

软件简介

Hazelcast Jet
是一个分布式计算平台,专为高性能流处理和快速批处理而构建。它在内存数据网格(IMDG)中嵌入Hazelcast,以提供轻量级的处理器包和可扩展的内存存储。

特性:

  • 低延迟和分布式的通用数据处理框架,具有高吞吐量

  • 高并行和分布式的数据流和批处理

  • 分布式 java.util.stream API 支持 Hazelcast 数据结构,如 IMap 和 IList

  • 连接器允许从 Apache Kafka, HDFS, Hazelcast IMDG, sockets 和本地数据文件(如日志或 CSV)高速获取数据

  • 自定义连接器的 API

  • 针对内部部署和云部署的动态节点发现

  • 通过 Docker, Apache jclouds, Amazon Web Services, Microsoft Azure, Consul, Heroku, Kubernetes, Pivotal Cloud Foundry 和 Apache ZooKeeper 进行虚拟化支持和资源管理

架构