将图片存入数据湖Hudi-白红宇

将图片存入数据湖Hudi

阅读量：762 次

发布时间：2019-03-23

本文共 417 字，大约阅读时间需要 1 分钟。

将图片存入 Apache Hudi（Hadoop Upserts, Deletes, and Incrementals）可以以两种方式处理：直接将图片数据转化为二进制存储，或者通过分布式文件系统（如HDFS）或对象存储（如AWS S3）存储图片数据，并在数据库中记录对应的文件路径或唯一标识符。这种做法可以有效管理图片数据，同时兼顾数据的可用性和扩展性。

以下是一个使用 Java 和 Apache Hudi 的示例，展示了如何将图片路径存储到 Hudi 表中：

import org.apache.hudi.DataSourceWriteOptions;
import org.apache.hudi.DataSource;

代码的核心逻辑包括：

初始化 Hudi 数据源和写入选项

使用指定的路径或标识符更新或插入数据

确保数据的高效写入和查询性能

这种方法不仅支持二进制数据存储，还可与外部存储系统集成，提供灵活的数据管理方案。

转载地址：http://jwmzk.baihongyu.com/

你可能感兴趣的文章

Openlayers实战：绘制图形，导出geojson文件

Openlayers实战：绘制图形，导出KML文件

Openlayers实战：绘制多边形，导出CSV文件

Openlayers实战：绘制带箭头的线

Openlayers实战：输入WKT数据，输出GML、Polyline、GeoJSON格式数据

Openlayers实战：非4326,3857的投影

Openlayers高级交互（10/20）：绘制矩形,截取对应部分的地图并保存

Openlayers高级交互（11/20）：显示带箭头的线段轨迹，箭头居中

Openlayers高级交互（14/20）：汽车移动轨迹动画（开始、暂停、结束）

Openlayers高级交互（15/20）：显示海量多边形，10ms加载完成

Openlayers高级交互（16/20）：两个多边形的交集、差集、并集处理

Openlayers高级交互（17/20）：通过坐标显示多边形，计算出最大幅宽

Openlayers高级交互（18/20）：根据feature，将图形适配到最可视化窗口

Openlayers高级交互（19/20）：地图上点击某处，列表中显示对应位置

Openlayers高级交互（2/20）：清除所有图层的有效方法

Openlayers高级交互（20/20）：超级数据聚合，页面不再混乱

Openlayers高级交互（3/20）：动态添加 layer 到 layerGroup，并动态删除

Openlayers高级交互（4/20）：手绘多边形，导出KML文件，可以自定义name和style

Openlayers高级交互（5/20）：右键点击，获取该点下多个图层的feature信息

Openlayers高级交互（6/20）：绘制某点，判断它是否在一个电子围栏内