LakeSoul开源项目 – 云原生湖仓框架
LakeSoul 是一个端到端的云原生 Lakehouse 框架,支持快速数据摄取、并发更新和增量数据分析,适用于 BI 和 AI 应用程序。它支持多种计算引擎(如 Spark、Flink、Presto 和 PyTorch)和存储系统(如 HDFS 和 S3),并提供了高写入吞吐量、增量更新、自动模式演进、多工作区和 RBAC 等功能。LakeSoul 使用 Rust 实现原生元数据层和 IO 层,并提供 C/Java/Python 接口,支持大数据和 AI 框架的连接。