第3章 功能说明

3.1 数据同步设置

数据同步在数据集中进行设置,点击确定以确认同步设置,点击取消以取消操作,点击删除已有设置取消数据同步(仅在确认过同步后出现)。

如果数据已经同步完成过,下面会显示最近一次的同步时间和结果。如果进行了设置,但没有进行数据同步,则图表查询时不会包含数据。

注意:一些数据集操作会提示需要用户重新设置同步并同步数据,以保证数据与数据集中的结构一致。这些操作包括添加字段、更改字段表达式、更改字段为数值、添加或删除表、表结构变化、更改表关联等。此外更改一些同步设置也可能会需要用户重新同步数据。

同步设置分为基本设置和高级设置。

3.1.1 基本设置

img/1

当用户对未设置过同步的数据集进行设置时,初始打开的是基本设置。基本设置下可以通过极少的设置完成本地数据同步。

3.1.1.1 同步方式

  • 全量:数据会被全部清除后重新导入

  • 增量:依据设置的数据集包含的表中的增量字段,每次数据同步仅会增加新增的数据。

    增量字段可以选择自数据集中拖拽表的任意字段,为保证结果正确,该字段需要满足对于每条新添加的数据,该字段必须含有值,且该值必须大于所有已有的该字段值。

3.1.1.2 同步时间

  • 手动同步:数据只会在点击“立即同步”或提示确认同步时同步

  • 定时同步:数据同步会按照计划的时间定时执行。

    建议根据使用需求及实际数据量设置,间隔不要设置过短。

img/2

  • 立即同步:立刻开始执行一次全量同步。(若当前定时同步正在执行,则立即执行不会生效)

3.1.1.3 数据分片

数据分片开关仅当计算引擎服务器设置了集群时才可用。当设置打开时,同步的数据将会被保存到集群中的各个节点中。

开启分片可以使得数据同步与数据查询的速度更快。

3.1.2 高级设置

基本设置中点击高级设置可以进行高级设置。

高级设置提供了更加详细的设置,主要涉及数据存储及分片的详细设置。如果对性能有更高要求时可以在了解后进行设置。

img/3

img/4

3.1.2.1 分区存储字段

分区存储字段指的是存储到大数据计算引擎的 MergeTree 表中的分区字段参数。该字段主要影响的是存储数据的管理。

默认情况下自动选择系统会自动指定一个日期类型字段或者使用默认单一分区。如果需要也可以指定一个数据集结果字段(必须是日期类型),或者手写表达式。手写表达式同样只能使用数据集结果中的字段(但不需要一定是日期),结合DataViz提供的函数或大数据计算引擎的内置函数。

3.1.2.2 主键字段

主键字段也是大数据计算引擎 MergeTree表的主键参数。该参数是MergeTree分区内的排序字段,其数据会驻留内存,主要作用是加速特定字段的查询速度。与一般数据库的主键不同,主键字段的值没有不重复的要求,且可以多个,但设置过多的主键不会有加速效果,只会增加内存占用。

默认情况自动选择方式系统会自动选取数据集结果中可能适合作为主键的1-3个字段作为主键,诸如类型、地区、部门、月份等。用户也同样可以手动选择两个数据集结果字段或书写表达式作为主键。表达式的要求与分区存储字段的表达式相同。

3.1.2.3 数据分片

img/5

数据分片同样提供了关于分片存储的详细设置。该部分的设置决定了数据如何分配存储在大数据计算引擎集群节点中。

3.2 数据同步管理

img/6

数据同步管理列出了当前用户目前所拥有的且已设置了大数据计算引擎的数据集。列表中列出了这些数据集的基本信息及同步相关基本信息。当前状态有3种,分别为未同步、已同步、同步中(即正在进行数据同步)。

用户可以对每个数据集进行一些操作:更改同步设置、删除同步设置、查看日志及查看存储信息。

  • 更改同步设置

    打开数据同步设置,可以对其设置进行修改。

  • 删除同步设置

    删除数据同步。

  • 查看日志

    显示该数据集所有的历史同步记录。同步记录有最大保存天数(系统设置),但已同步数据集最近一次的同步记录不会被删除。

img/7

  • 查看存储信息

img/8

可以了解该数据集的一些大数据计算引擎信息,便于问题排查测试。

3.3 数据同步维护

维护功能用于为管理员提供当前配置的相关信息,并提供必要的维护操作。(该功能仅限非多租户版)

img/9

3.3.1 服务器

服务器部分列出了当前存储服务器信息。目前支持的存储为大数据计算引擎服务器,其中列出了连接地址,端口,用户名及集群配置。这几项配置于DataViz后台应用中,DataViz会采用这些配置访问大数据计算引擎服务器。

  • 测试连接

    测试所配置的服务器是否能够正常访问,并得到当前配置的服务器下用于DataViz大数据计算引擎的表数据量以及该集群中的节点数(如果配置了集群)。

  • 更新分片

    用于当已经配置了大数据计算引擎集群且又在集群中新增了节点时使用,该按钮可以在新添加的节点中添加必要的存储表,保证已有配置了分片的数据集可以正常使用。如果增加节点后没有点击该按钮,则设置了分片的数据集除非重新设置一次同步并进行一次全量同步,否则该数据集无法正常使用。

    另外,该按钮只能够保证在增加节点的情况下分片数据集的正常使用,但不会对数据重新分布。在点击后,只有对分片的数据集做全量数据同步后才能够重新分布数据,并明显看到节点增加对该数据集带来的性能提升效果,若只做增量同步,则只有后续新增的数据才会分布到新增节点上。

3.3.2 数据同步日志

数据同步日志显示了当前已保存的同步日志数及日志保留时间。

3.3.3 数据同步任务

数据同步任务显示了当前设置了定时执行的数据同步任务数及当前正在运行的同步任务数。

results matching ""

    No results matching ""

    results matching ""

      No results matching ""