管理一体化

集成定义了从源系统中提取的内容。集成包括例如SQL滤波器,增量条件和初始提取的分区策略。这些设置应用于源系统的表数据。

要创建集成,您可以使用以下选项:

  • 您可以创建一个新的集成并将其链接到数据模型。

  • 您创建数据模型。然后,集成自动设置并链接。

如果您使用基于进程的模板设置了数据模型,则将集成预先配置。如果需要,您可以自定义它。如果使用了空白模板,则指定要自己提取的表数据。

创建一个新的集成

要创建集成,请按照下列步骤操作:

  1. 在这一点所有进程页面,点击管理数据

    数据模型概览将打开。

  2. 在这一点一体化选项卡,单击新集成

    配置对话框打开。

  3. 选择源系统并单击下一个

  4. 在下面集成名称,输入名称。

  5. 选择数据源并单击创造

    集成是创建的编辑集成页面打开。您现在可以按照部分中的描述进行自定义自定义一体化

自定义一体化

要打开编辑的集成,请选择以下方法之一:

  • 打开管理数据页。在这一点数据模型选项卡,单击要自定义的数据模型。

    数据模型打开。在里面集成部分,选择集成并单击编辑

  • 打开管理数据页面并单击一体化在侧边栏中。单击要自定义的集成。

添加和删​​除表和列

如果你没有看到添加表纽约州编辑集成页面,您的数据模型尚未与活动数据源连接。首先连接数据源,然后您可以配置集成。阅读更多部分链接数据源

要添加表,请按照下列步骤操作:

  1. 点击添加表

    表选择对话框将打开。

  2. 选择要添加的表,然后单击选择列

  3. 选择要添加的列并单击选择密钥列

  4. 选择要定义为键列的列。键列用于识别表中的唯一行,并删除重复行。

  5. 点击添加表

    该表将添加到集成中。

要删除表,请单击

从数据上传中删除表时,也会永久删除提取的表数据。

要添加列,请按照下列步骤操作:

  1. 要打开桌面菜单,请单击

  2. 点击管理表

    表编辑对话框将打开。

  3. 选择要添加的列,然后单击选择密钥列

  4. 选择要定义为键列的列。键列用于识别表中的唯一行,并删除重复行。

  5. 点击更新表

    该列被添加到集成中。

要删除列,请展开表格并单击

预览数据

要预览提取数据,单击在表或列旁边。只有在您已经运行了初始提取时,预览才可用。阅读更多部分运行初始提取

将描述添加到列中

要跟踪表数据并简化维护,您可以添加列描述。仅在自定义集成时显示说明。说明没有提取。

按着这些次序:

  1. 要展开表格,请单击

  2. 要打开列侧菜单,请单击

  3. 在下面描述, 增加一个说明。

  4. 关闭侧面菜单并单击保存

    描述显示在表中。

要删除描述,请删除列侧菜单中的描述文本。

假义数据

可以用人工语名词替换个人身份数据。您可以决定是否将每个文本列挂起数据。要应用pseudanyization,请按照下列步骤操作:

  1. 要展开表格,请单击

  2. 要打开列侧菜单,请单击

  3. 激活Pseudymize专栏选择。

  4. 关闭侧面菜单并单击保存

    在下一个计划的提取中应用假垂选。

要停用假义,请单击撤消在列侧菜单中。

通过SQL过滤器精炼提取

在表格级别,您可以通过SQL过滤器减少提取数据。然后,提取具有匹配SQL查询的属性的数据集。

要应用SQL过滤器,请按照下列步骤操作:

  1. 要打开桌面菜单,请单击

  2. 在下面SQL Filter.,添加您的SQL查询。

  3. 要预览SQL查询的结果,请单击刷新

  4. 关闭侧面菜单并单击保存

    SQL过滤器应用于下一个计划的提取。

要删除SQL过滤器,请单击撤消在表侧菜单中。

定义初始提取范围

对于具有列日期的表,您可以通过日期过滤器定义初始提取的范围。您在此设置的日期是要考虑的第一个值。例如,如果初始日期被设置为1月1日2020,则提取来自此日期的所有数据。为了进一步提取,仅提取自上次提取以来已经改变的数据。

如果您使用基于进程为基础的模板设置了数据模型,请检查每个表是否有用案例的默认初始值是合理的。

要设置日期过滤器,请按照下列步骤操作:

  1. 要展开表格,请单击

  2. 要打开列侧菜单,请单击

  3. 在下面三角洲标准, 启用将Delta标准添加到列

  4. 例如,输入日期格式MM / DD / YYYYdd.mm.yyyy.

  5. 输入初始日期。

  6. 关闭侧面菜单并单击保存

    运行初始提取时应用日期过滤器。

要编辑日期过滤器,请使用表或日期列的侧面菜单。

要删除日期过滤器,请取消激活将Delta标准添加到列选项在列侧菜单中。

创建表名别名

如果要将多个集成链接到数据模型,则表名必须在所有集成中都是唯一的。因此,您可以为重复的表名称创建别名。

别名仅用作参考,并且不包括在数据提取中。

在为表名创建,更改或删除别名时,必须在用于转换的映射中相应地更新表名。阅读更多部分自定义映射

要为表名创建别名,请按照下列步骤操作:

  1. 要打开桌面菜单,请单击

  2. 在下面表别名,输入别名名称。

  3. 关闭侧面菜单并单击保存

    别名显示在表格中,如下所示:原始表 - 名称为“别名”

删除别名时,再次使用原始表名。

设置初始分区策略

在第一次提取期间拉动最大的数据量。为避免重载系统,可以配置分区策略。使用分区策略,您可以定义以提取块中的数据。

最佳分区大小取决于数据行的总量以及数据如何在一段时间内分布。例如,您选择一个不同的数据策略,该数据在一段时间内均匀分布而不是不同等分布的数据。

此外,请考虑以下内容:

对于每个分区,执行提取。一方面,您指定的分区越多,缩短分区大小,则运行更多的提取。这可以降低系统性能。另一方面,如果分区太大,则源系统的连接超时可能会阻止提取。

因此,我们建议您彻底分析提取数据的数量及其分布。此外,请检查预览功能,无论选定的分区策略是合理的。

默认情况下,没有配置分区策略。

设置分区策略时,它也应用于Delta提取。阅读更多部分定义初始提取范围

可用的分区策略:

策略 描述 参数
default_no_partitions. 没有分区 -
约会时间 根据其日期和时间信息加载数据

日期格式:指定输入日期的格式。

开始日期:指定创建分区的开始日期。

结束日期:指定创建分区的结束日期。

分区大小:定义多少分区单元进入一个分区。例如,如果分区单元被设置为和分区大小2,每个分区将包含2个月的数据,从开始日期到结束日期。

分区单位:定义分区的单位,例如年,月,周,日和小时。

柱子:选择开始和结束日期的日期列。

static_value.

根据所选属性加载数据,例如行业,国家等爱游戏电动老虎机

选择列,然后添加用于创建分区的值。

要设置分区策略,请按照下列步骤操作:

  1. 要打开桌面菜单,请单击

  2. 在下面初始分区策略,从下拉列表中选择分区策略。

  3. 配置策略。

  4. 要应用表的分区策略,请单击立即保存并提取

一旦初始提取完成,您就不能再更改分区策略以保持数据一致。若要选择不同的分区策略,请删除提取的数据并重置分区策略。单击,删除已提取的数据对于表,在确认对话框中,请留下该选项还删除了表格停用。

如果基于分区的提取失败,则您可以使用以下选项:

  • 通过更改分区参数来减少分区大小,然后重试。

  • 通过数据源中的连接参数增加连接超时的值,然后重试。阅读更多部分连接参数

运行初始提取

创建新数据模型时,必须手动触发初始提取。更新数据模型时,这不是必需的。

按着这些次序:

  1. 要运行初始数据提取,请单击提炼在这一点编辑集成页。

    源系统数据如集成中的指定提取。

  2. 检查提取是否完成,切换到日志标签。在这里,您可以找到提取历史和状态。

    有关提取数据的概述,请单击日志条目。

    您可以预览每个表的提取数据。要这样做,切换回来桌子标签并单击在您要预览的表的行中。

激活自动ETL管道执行

您可以激活ETL管道的自动执行。管道计划于12AM UTC每天运行。管道仅提取自上次提取以来已更改的数据。为此,请单击“计划”在右上角切换编辑集成页。

删除集成和提取的数据

删除集成并提取的数据无法撤消。

要删除特定表的提取数据,请单击对于桌子。留下选项还删除了表格停用。

要删除集成,请按照下列步骤操作:

  1. 在这一点所有进程页面,点击管理数据

    数据模型概览将打开。

  2. 在这一点一体化选项卡,选择要删除的集成并单击编辑

    整合打开了。

  3. 点击删除集成

    将打开一个对话框,显示使用此集成的数据模型。

  4. 要确认删除,请在对话框中确认,然后单击删除

    集成删除。

下一步

管理一个转换

管理数据模型