快速入门

从简单的摄取管道示例开始

在本教程中，您将学习如何安装 RDI 并设置管道以将实时数据从PostgreSQL数据库提取到 Redis 数据库。

先决条件

  • 将用作管道目标的 Redis Enterprise 数据库。要提取的数据集非常小，因此单个分片数据库就足够了。RDI 还需要在集群上维护自己的数据库来存储状态信息。这需要 Redis Enterprise v6.4 或更高版本。
  • 使用Redis Insight 编辑您的管道
  • 具有以下操作系统之一的虚拟机 (VM)：
    • Ubuntu 20.04 或 22.04
    • RHEL 8 或 9

概述

下图显示了我们将创建的管道的结构（请参阅架构概述以了解管道的工作原理）：

在这里，RDI收集器跟踪 PostgreSQL 中的更改，并将其写入 Redis 中 RDI 数据库中的流。然后，流处理器从 RDI 数据库流中读取数据记录，对其进行处理，并将其写入目标。

安装 PostgreSQL

我们为本教程将使用的示例 PostgreSQL 数据库 提供了一个Docker镜像。按照我们的 Github 页面上的说明 下载镜像并开始提供数据库服务。该数据库名为chinook，具有虚拟在线音乐商店的架构和数据，并且已设置为供 RDI 收集器使用。

安装 RDI

按照安装指南中的说明安装 RDI

RDI 将在 处为您选择的源数据库类型创建管道模板 /opt/rdi/config。稍后在准备部署管道时，您将需要此路径名（请参阅下面的准备管道）。

在安装结束时，RDI CLI 将提示您设置源 PostgreSQL 数据库和 Redis RDI 数据库的访问机密。RDI 需要这些来运行管道。如果您在此处为 Redis Enterprise 集群提供管理员凭据，则 RDI CLI 将自动为您创建 RDI 数据库。否则，您应该使用 Redis Enterprise 管理控制台自行创建此数据库。对于本教程来说，具有 125MB RAM 的单分片数据库就足够了，但您也可以根据需要添加副本（这将使 RAM 要求翻倍至 250MB）。

准备管道

在安装过程中，RDI 将管道模板放在/opt/rdi/config。如果您转到该文件夹​​并运行命令ll，您将看到管道配置文件config.yaml和文件夹（有关更多信息，请参阅有关管道jobs的页面 ）。使用 Redis Insight 打开文件，然后编辑以下设置：config.yaml

  • 将 设置host为localhost，并将port设置为 5432。
  • 在下tables，指定Track源数据库中的表。
  • 将目标数据库的详细信息添加到该target部分。

此时，管道已准备好部署。

部署管道

您可以使用 Redis Insight 部署管道，方法是添加与 RDI API 端点（具有与您的 RDI VM 相同的 IP 地址并使用端口 8083）的连接，然后单击“部署”按钮。 您也可以使用以下命令进行部署：

redis-di deploy --dir <path to pipeline folder>

其中路径是您在安装过程中提供的路径。RDI 首先验证您的管道，然后如果配置正确，则部署它。

管道运行后，您可以使用 Redis Insight 通过管道指标查看数据流。您还可以连接到目标数据库以查看 RDI 在其中写入的键。

查看 RDI 对数据变化的响应

一旦管道从源加载了所有现有数据的快照，它就会进入变更数据捕获 (CDC)模式（有关更多信息，请参阅 架构概述 和 摄取管道生命周期 ）。

要查看在 CDC 模式下工作的 RDI 管道：

给此页面评分
返回顶部 ↑