管理一体化
要创建集成,您可以使用以下选项:
您可以创建一个新的集成并将其链接到数据模型。
您创建数据模型。然后,集成自动设置并链接。
如果您使用基于进程的模板设置了数据模型,则将集成预先配置。如果需要,您可以自定义它。如果使用了空白模板,则指定要自己提取的表数据。
创建一个新的集成
要创建集成,请按照下列步骤操作:
在这一点所有进程页面,点击管理数据。
数据模型概览将打开。
在这一点一体化选项卡,单击新集成。
配置对话框打开。
选择源系统并单击下一个。
在下面集成名称,输入名称。
选择数据源并单击创造。
集成是创建的编辑集成页面打开。您现在可以按照部分中的描述进行自定义自定义一体化。
自定义一体化
要打开编辑的集成,请选择以下方法之一:
打开管理数据页。在这一点数据模型选项卡,单击要自定义的数据模型。
数据模型打开。在里面集成部分,选择集成并单击编辑。
打开管理数据页面并单击一体化在侧边栏中。单击要自定义的集成。
添加和删除表和列
如果你没有看到添加表纽约州编辑集成页面,您的数据模型尚未与活动数据源连接。首先连接数据源,然后您可以配置集成。阅读更多部分链接数据源。
要添加表,请按照下列步骤操作:
点击添加表。
表选择对话框将打开。
选择要添加的表,然后单击选择列。
选择要添加的列并单击选择密钥列。
选择要定义为键列的列。键列用于识别表中的唯一行,并删除重复行。
点击添加表。
该表将添加到集成中。
要删除表,请单击。
从数据上传中删除表时,也会永久删除提取的表数据。
要添加列,请按照下列步骤操作:
要打开桌面菜单,请单击
。
点击管理表。
表编辑对话框将打开。
选择要添加的列,然后单击选择密钥列。
选择要定义为键列的列。键列用于识别表中的唯一行,并删除重复行。
点击更新表。
该列被添加到集成中。
要删除列,请展开表格并单击。
预览数据
要预览提取数据,单击在表或列旁边。只有在您已经运行了初始提取时,预览才可用。阅读更多部分运行初始提取。
将描述添加到列中
要跟踪表数据并简化维护,您可以添加列描述。仅在自定义集成时显示说明。说明没有提取。
按着这些次序:
要展开表格,请单击
。
要打开列侧菜单,请单击
。
在下面描述, 增加一个说明。
关闭侧面菜单并单击保存。
描述显示在表中。
要删除描述,请删除列侧菜单中的描述文本。
假义数据
可以用人工语名词替换个人身份数据。您可以决定是否将每个文本列挂起数据。要应用pseudanyization,请按照下列步骤操作:
要展开表格,请单击
。
要打开列侧菜单,请单击
。
激活Pseudymize专栏选择。
关闭侧面菜单并单击保存。
在下一个计划的提取中应用假垂选。
要停用假义,请单击撤消在列侧菜单中。
通过SQL过滤器精炼提取
在表格级别,您可以通过SQL过滤器减少提取数据。然后,提取具有匹配SQL查询的属性的数据集。
要应用SQL过滤器,请按照下列步骤操作:
要打开桌面菜单,请单击
。
在下面SQL Filter.,添加您的SQL查询。
要预览SQL查询的结果,请单击刷新。
关闭侧面菜单并单击保存。
SQL过滤器应用于下一个计划的提取。
要删除SQL过滤器,请单击撤消在表侧菜单中。
定义初始提取范围
对于具有列日期的表,您可以通过日期过滤器定义初始提取的范围。您在此设置的日期是要考虑的第一个值。例如,如果初始日期被设置为1月1日2020,则提取来自此日期的所有数据。为了进一步提取,仅提取自上次提取以来已经改变的数据。
如果您使用基于进程为基础的模板设置了数据模型,请检查每个表是否有用案例的默认初始值是合理的。
要设置日期过滤器,请按照下列步骤操作:
要展开表格,请单击
。
要打开列侧菜单,请单击
。
在下面三角洲标准, 启用将Delta标准添加到列。
例如,输入日期格式MM / DD / YYYY或dd.mm.yyyy.。
输入初始日期。
关闭侧面菜单并单击保存。
运行初始提取时应用日期过滤器。
要编辑日期过滤器,请使用表或日期列的侧面菜单。
要删除日期过滤器,请取消激活将Delta标准添加到列选项在列侧菜单中。
创建表名别名
如果要将多个集成链接到数据模型,则表名必须在所有集成中都是唯一的。因此,您可以为重复的表名称创建别名。
别名仅用作参考,并且不包括在数据提取中。
在为表名创建,更改或删除别名时,必须在用于转换的映射中相应地更新表名。阅读更多部分自定义映射。
要为表名创建别名,请按照下列步骤操作:
要打开桌面菜单,请单击
。
在下面表别名,输入别名名称。
关闭侧面菜单并单击保存。
别名显示在表格中,如下所示:原始表 - 名称为“别名”
删除别名时,再次使用原始表名。
设置初始分区策略
在第一次提取期间拉动最大的数据量。为避免重载系统,可以配置分区策略。使用分区策略,您可以定义以提取块中的数据。
最佳分区大小取决于数据行的总量以及数据如何在一段时间内分布。例如,您选择一个不同的数据策略,该数据在一段时间内均匀分布而不是不同等分布的数据。
此外,请考虑以下内容:
对于每个分区,执行提取。一方面,您指定的分区越多,缩短分区大小,则运行更多的提取。这可以降低系统性能。另一方面,如果分区太大,则源系统的连接超时可能会阻止提取。
因此,我们建议您彻底分析提取数据的数量及其分布。此外,请检查预览功能,无论选定的分区策略是合理的。
默认情况下,没有配置分区策略。
设置分区策略时,它也应用于Delta提取。阅读更多部分定义初始提取范围。
可用的分区策略:
策略 | 描述 | 参数 |
---|---|---|
default_no_partitions. | 没有分区 | - |
约会时间 | 根据其日期和时间信息加载数据 | 日期格式:指定输入日期的格式。 开始日期:指定创建分区的开始日期。 结束日期:指定创建分区的结束日期。 分区大小:定义多少分区单元进入一个分区。例如,如果分区单元被设置为月和分区大小2,每个分区将包含2个月的数据,从开始日期到结束日期。 分区单位:定义分区的单位,例如年,月,周,日和小时。 柱子:选择开始和结束日期的日期列。 |
static_value. | 根据所选属性加载数据,例如行业,国家等爱游戏电动老虎机 |
选择列,然后添加用于创建分区的值。 |
要设置分区策略,请按照下列步骤操作:
要打开桌面菜单,请单击
。
在下面初始分区策略,从下拉列表中选择分区策略。
配置策略。
要应用表的分区策略,请单击立即保存并提取。
一旦初始提取完成,您就不能再更改分区策略以保持数据一致。若要选择不同的分区策略,请删除提取的数据并重置分区策略。单击,删除已提取的数据对于表,在确认对话框中,请留下该选项还删除了表格停用。
如果基于分区的提取失败,则您可以使用以下选项:
通过更改分区参数来减少分区大小,然后重试。
通过数据源中的连接参数增加连接超时的值,然后重试。阅读更多部分连接参数。
运行初始提取
创建新数据模型时,必须手动触发初始提取。更新数据模型时,这不是必需的。
按着这些次序:
要运行初始数据提取,请单击提炼在这一点编辑集成页。
源系统数据如集成中的指定提取。
检查提取是否完成,切换到日志标签。在这里,您可以找到提取历史和状态。
有关提取数据的概述,请单击日志条目。
您可以预览每个表的提取数据。要这样做,切换回来桌子标签并单击
在您要预览的表的行中。
激活自动ETL管道执行
您可以激活ETL管道的自动执行。管道计划于12AM UTC每天运行。管道仅提取自上次提取以来已更改的数据。为此,请单击“计划”在右上角切换编辑集成页。
删除集成和提取的数据
删除集成并提取的数据无法撤消。
要删除特定表的提取数据,请单击对于桌子。留下选项还删除了表格停用。
要删除集成,请按照下列步骤操作:
在这一点所有进程页面,点击管理数据。
数据模型概览将打开。
在这一点一体化选项卡,选择要删除的集成并单击编辑。
整合打开了。
点击删除集成。
将打开一个对话框,显示使用此集成的数据模型。
要确认删除,请在对话框中确认,然后单击删除。
集成删除。
下一步
这个页面有用吗?
- 是的
- 没有