Skip to content

数据表管理

导入数据表

关联中间表

在数据表管理页面创建中间表,在左上方点击“创建中间表”,跳出以下选项,如图6-1-1所示。

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-1-1 关联中间表

点击“创建中间表”,其余具体操作如下:

1. 页面的左上角的选择数据表即选择要作为数据源的表,被选中的表会显示在“选择数据表”的下方;

2. 双击左侧数据列或单击选中数据列(可选择多列),点击箭头按钮将其加入中间表,被选中的列名会显示在页面中间,如下图6-1-2所示界面;

3. 点击“中间表名”对该中间表进行命名;

4. 点击“描述”对该中间表进行描述(非必填);

5. 点击“增加公式”在该中间表中增加公式(公式操作与搜索页面一致,非必填);

6. 可以点击“选中的源列”下方列名直接对显示的列名进行修改,修改公式名需在左下方添加公式处,点击“公式名”,修改公式名(非必填);

7. 对不想要使用的列名在其右侧操作栏,直接点击“删除”按钮,可将列名在使用栏中除去,删除公式需在左下方点击公式名右侧的“删除”按钮,删除公式;

8. 若是使用2张或2张以上的数据表来创建中间表,则需在“我的关联关系”中构建选中的所有表之间的关联关系。若是选择的表在数据表管理中已建立关联关系,那么点击“我的关联关系”会直接显示选中表早前建立的关联关系。用多表创建中间表,表与表之间必须要建立关联关系。

9. 点击“确定”按钮,成功创建该中间表。

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-1-2 创建中间表

10. 创建中间表成功后回到数据表管理页面。如图6-1-3,通过不同方式创建的中间表会分别显示为“关联中间表/问答中间表”,此处为关联中间表的设置。

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-1-3 创建中间表

从本地导入表

拥有资源管理员角色权限的用户在数据表管理模块的“导入表”栏中才会显示“从本地导入表”的按钮,可以进行本地的csv、excel、json文件的导入。这里以csv数据导入操作进行示例:

1. 在数据表管理功能模块中点击“导入表”按钮,选择“从本地导入表”,会弹出如图6-1-4的界面;

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-1-4 选择文件上传

2. 在“请选择文件”按钮上方会提示目前支持的文件类型及文件大小,选定文件类型,点击“请选择文件”按钮,将电脑中想要导入且符合要求的数据文本导入,选择好后再点击上传;

3. 文件上传成功后会显示如图6-1-5的配置信息界面(图中为csv数据的配置信息界面)。这里特别需要注意,要选择相对应的编码规则,才能将导入文件中的中文正确显示,设置完后点击下一步;

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-1-5 设置格式及编码规则

4. 进入下一步,如下图6-1-6所示,可选择导入的列、重新命名表名及列名、可修改列类型,还可以预览导入的数据表,配置完成确认无误后点击“确定”,导入的文件会按照文件类型进行区分,比如导入CSV文件,就显示CSV。

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-1-6 配置表信息

5. 如选择导入EXECL(.xls , .xlsx)文件,可选择多表单(sheet)导入。点击不同表单名,中间页面出现该表单具体列属性信息,可选择添加不同列及改变字段属性。

从数据源导入表

只有资源管理员角色权限的用户在数据表管理模块点击“导入表”才会显示“从数据源导入表”。点击“从数据源导入表”,会弹出如图6-1-7的页面。

图6-1-7
从数据源导入表页面
图6-1-7 从数据源导入表页面

1.在“从数据源导入表”页面中,点击左上角的“请选择数据源”,然后从已经连接DataFocus的外部数据源中选择需要进行数据表导入的数据源,选定后,点击下一步,如图6-1-8所示;

图6-1-8
选择导入数据源
图6-1-8 选择导入数据源

2.选择需要导入的表。进入下一步,如图6-1-9所示,可以从数据源中选择需要导入DataFocus系统的表,并选择导入的方式是直连还是导入;

“导入”是将DataFocus作为数据仓库来使用,可以整合不同业务系统中的数据,展现数据全貌,综合分析,导入数据支持定时更新;“直连”则是DataFocus直接连接数据库,数据不导入到DataFocus中,由于是直连的数据库,故可支持实时更新,数据库中数据有变化,DataFocus中直连的这些表,以及依赖这些表制作的报表等也都能实时更新。

如果已经导入过的表,会提示“当前表已经被使用”。

数据表选择完成后,点击确定,进入下一步;

图6-1-9
选择需要导入的表
图6-1-9 选择需要导入的表

3.导入配置。如果选择的数据表的导入方式不全为“直连”,即存在数据表的导入方式为“导入”,则会进入下一步,“配置导入类型的表”,在这里可以修改导入方式为全量导入还是增量导入或者选为直连,还可以配置导入时间;

定时导入时间有两种配置,分别是简单重复和明细频率配置。

简单重复配置就是输入数值并选定时间单位进行导入时间的配置,比如输入“每隔12小时”,系统就会每隔12小时对该数据源选中的表格按照选定的导入方式重新进行导入,如图6-1-10所示。

图6-1-10
配置定时导入时间——简单重复
图6-1-10 配置定时导入时间——简单重复

明细频率配置可以将导入时间设定为具体的某月/某周/某日/某小时等,系统同样会按照设定的导入时间定时进行数据源的更新,如图6-1-11所示。

图6-1-11
配置定时导入时间——明细频率配置
图6-1-11 配置定时导入时间——明细频率配置

4.配置完成后,点击确定,数据源就开始导入了。

4. 配置完成后,点击确定,数据源就开始导入了。

覆盖数据表

点击数据表“详情”,进入数据表界面,点击右上角的“覆盖上传”,再输入数据表相关信息,这里和导入数据表的步骤一样,输入完毕后点击确认即可覆盖原来导入的数据表。如图6-1-12。

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-1-12 覆盖数据表

切换数据源

当原有数据表换数据库的时候,或者用测试数据制作成的中间表、历史问答、看板等想切换正式数据的时候,或者1月份数据和2月份数据在不同数据库想切换的时候,我们需要切换数据源来进行数据替换。在表名一致且结构一致的情况下,通过编辑数据源具体链接配置,可以将当前数据源下导入的表替换成其他数据源下表的内容。替换成功后,由原数据源创建的中间表、历史问答、数据看板均会根据新数据源的数据而更新内容。

这里我们以“数据源1”切换“用户数据源”为例。

我们可以看到用户数据源中的数据表“超市订单”详情页,显示的是2016年的数据。

《产品手册 V5.0.2》图6-1-13
用户数据源中的数据
《产品手册 V5.0.2》图6-1-13 用户数据源中的数据

点击系统管理中的外部数据源,点击编辑,将数据源1的数据源配置信息输入,点击确定。

图 6-1-14
切换数据源
图 6-1-14 切换数据源

之后我们点击数据表管理,点击“超市订单”这张表的详情,点击预览数据,看到这张数据表里面的数据已经被替换成2017年的超市订单数据。

图 6-1-15
数据源1中的数据
图 6-1-15 数据源1中的数据

累加上传数据表

当数据表中需要添加新的批量数据时,可以使用累加上传功能,在原表数据中添加新数据。点击“累加上传”,选择需要添加的数据表,点击上传即可新增数据。

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-1-16 累加上传数据

数据查看

数据的来源有两种:导入数据、直连数据。导入数据是存储在系统中的数据表,可以直接调取进行使用;直连数据是直连到用户数据库的数据表,与导入数据不同并不存储在系统中,每次使用时均需要在用户的数据库中进行查询然后结果返回到系统中显示。

数据类型有三种:数据表、问答中间表、关联中间表。

中间表是对数据表中的源数据工作表进行二次加工后得到的数据表,当工作表的结构发生变化后,中间表会受影响;问答中间表是在搜索页面生成的中间表,关联中间表是在资源管理页面生成的中间表,两者区别为,问答中间表会在生成时进行数据聚合,而关联中间表不会。

在数据表管理的数据表页面中,点击任意的数据表都会弹出如下图6-2-1所示的界面。

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-2-1 数据表

左上角的表格标题名称和描述可以直接点击修改。

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-2-2 修改标题名称和描述

数据内容

列信息

在列信息中可以看到该表中每列的信息,如显示名称、数据类型、描述、列类型、聚合方式、同义词、索引类型、地域类型等,如图6-3-1所示。

●显示名称:列名的显示名称。

●数据类型:列的数据类型,在导入时配置固定,不可修改。

●描述:对列字段的描述,用户可以根据自身需求添加。

●列类型:列类型分为Attribute(属性列)和Measure(数值列)列两种,属性列一般作为X轴和图例使用,数值列作为Y轴使用。只有数值列可以修改为属性列使用。

●聚合:列的默认聚合方式,数值列有总和、最大值、最小值、平均值、方差、标准差、计数、去重总数八种聚合方式,一般默认为总和,也可以选择不进行聚合;属性列有计数、去重总数两种聚合方式,一般默认为无聚合。用户可以在数据表列信息中进行修改,同样也可以在搜索中利用设置和关键词进行临时修改。

●地域类型:配置地理列,将对应的列配置为省、市、区,以及经纬度。要求列符合为地理列的格式与值。

●同义词:列的同义名称,可以在搜索中作为列显示名称的代用,效果和显示名称一致。

●索引类型:选择该列建模方式。

●优先级(1-100):当搜索框内输入一个过滤条件时,返回结果会出现聚合后的数值列,优先级越高,则优先显示数值列结果。\

●嵌套父列:选择一个类型相同的属性列组成树的索引,在子列的“嵌套父列”一栏中选择父列的属性列。

有资源管理权限的用户可以将数据表的列信息中的内容进行修改。其中当修改的列名称及其同义词与关键词重复时会出现错误提示。

修改好的信息后再次打开可以看到信息已被更改。若更改了表中的列名称,则在搜索模块中能看到该列名称已被替换为修改后的列名称。

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-3-1 列信息

关联关系

资源管理员角色的用户可以对工作表建立关联关系。

1. 新增关联关系

若想增加该表与其他表的关联关系,进入该表详情的关联关系页面,若该表未与其他任何表建立过关联关系,那么关联关系页面只会显示“增加关联”和“查看所有关联关系”两个按钮。

点击左上方“增加关联”,就会弹出具体的操作界面如图6-3-2,需要填写的包括维度表、连接类型、连接筛选(选填)、源列、目标列。

维度表是指要与该表建立关联关系的数据表,点击维度表的输入框会出现系统内当前排名前10的表,如果需要关联的维度表不在其中,可以在维度表的输入框中输入表名进行查找,然后选中想要关联的表;

连接类型分为四种:内连接、左连接、右连接、全关联;

连接筛选是对关联数据行进行筛选,选择原列或目标列的属性列或者数值列建立筛选条件;

源列是显示该表中所有的数据列,点击源列的输入框会出现该表中所有的列名及其数据类型;

目标列是显示维度表中所有的数据列。点击目标列的输入框会出现该表中所有的列名及其数据类型;

选择要匹配的数据列后点击“确定”该关联关系就增加成功了。若对一张维度表有多个需要关联的列,可以通过点击源列下方的“+”按钮增加新的源列及目标列的输入框。

用户在创建表关联关系的时候,表关联不能出现回路和闭环。

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-3-2 增加关联关系

2.关联详情

关联关系创建成功后,将鼠标移至两表之间的连线上,会激活关联关系的“详情”按钮,点击“详情”,可以查看当前关联关系的详细内容,包括维度表、连接类型、连接筛选(选填)、源列和目标列,如图6-3-3所示。

《产品手册
V5.0.2》
《产品手册 V5.0.2》
《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-3-3 关联关系详情

3.删除关联关系

若想要删除两表之间的关联关系,将鼠标移至两表之间的连线上,“删除”按钮会被激活,从灰色变成红色,此时点击删除即可解除两表之间的关联关系,如下图6-3-4所示。

《产品手册
V5.0.2》
《产品手册 V5.0.2》
《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-3-4 删除关联关系

4.查看所有表关联关系

当用户想宏观的查看所有表的关联关系,或者由于时间长以及其他原因对数据表之间的关联关系不清楚时,可以点击任意表的关联关系页面左上角的“查看所有关联关系”。进入全部表的关联关系总览页面,如图6-3-5所示。

《产品手册
V5.0.2》
《产品手册 V5.0.2》
《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-3-5 所有表关联关系

依赖关系

点击依赖关系弹出的界面可以看到依赖该表建立的数据看板、历史问答以及中间表,如下图6-3-6所示。

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-3-6 依赖关系

配置

在配置界面中,可选择定时自动导入或手动导入,如下图6-3-7所示。

1. 定时导入

点击“配置配置定时导入时间”,在弹出窗口可选择:

简单重复每隔N分钟/小时/天自动重修导入中间表;

明细频率配置,设置每月/周具体执行时间,可添加多个执行时间。

2. 手动导入

点击“立即导入”,中间表开始导入,导入状态显示“PENDING”,导入成功后显示“SUCCESS”。

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-3-7 配置

DFCloudkit小工具

DFCloudkit工具的主要作用是连接DataFocus云应用和本地数据库,借助DFCloudkit工具可以将本地的CSV文件、Excel文件、MySql数据库、Micrsoft SQL Server数据库、Oracle数据库中的原始数据表导入DataFocus云应用;

安装DFCloudkit

1. 下载DFCloudkit小工具并进行解压;

2. 双击打开解压后的文件夹,选择如下图红框内框中的DFCloudkit应用程序,双击打开;

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-4-1 解压

设置参数

打开DFCloudkit工具后,会弹出如图6-4-2所示界面,系统会提示需要先进行服务连接参数设置,设置好的界面如图6-4-7所示;

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-4-2 设置参数

1. 服务地址

服务地址就是DataFocus云应用的网址链接;

一般情况下企业共享版的服务地址都是:https://cloud001.datafocus.ai/

如图6-4-3所示:

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-4-3 服务地址

2. Secret Id和Secret Key

设置Secret Id和Secret Key需要相关工作人员协助。如图6-4-4,请前往控制台,扫码添加微信客服,询问相关设置。

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-4-4 控制台

3. 签名算法

选择“HmacSHA256”;

4. 租户编号

租户编号就是用户创建的应用ID;

如图6-4-5所示,可以在DataFocus控制台中我的云应用页面查看应用ID;

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-4-5 租户编号

也可以直接在DataFocus云应用的网址链接后看到租户编号,如图6-4-6所示;

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-4-6 网址链接,租户编号

5. 如图6-4-7所示,服务参数设置完成,点击“测试连接”;

弹窗消息为“连接成功!”,则可以关闭该窗口。点击“应用”,弹窗消息“保存成功”。到此,DFCloudkit工具已经成功连接DataFocus云应用,接下来就可以新建任务,进行数据源导入了;

若弹窗消息显示“连接失败!”,则检查是否信息有误,或者联系我们。

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-4-7 设置服务参数

配置数据源

1. 如图6-4-8所示,在DFCloudkit工具页面,选择任务---新增任务;

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-4-8 新增任务

2. 如图6-4-9所示,数据源可以选择本地的CSV文件、Excel文件、Json文件、MySql数据库表、Micrsoft SQL Server数据库表、Oracle数据库表、PostgreSql数据库表;

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-4-9 数据源

从本地导入表

DFCloudkit小工具可以进行本地的csv、excel、json文件的导入。这里以csv数据导入操作进行示例:

1. 数据来源选择“CSV文件”后,点击下一步,如图6-4-10所示;

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-4-10 选择csv文件

2. 如图6-4-11所示,基础参数配置弹窗,

点击文件路径右侧的三点标志,配置需要导入的CSV文件路径;

同时需要注意选择相对应的编码规则(一般情况下,编码规则选择:GBK),才能将导入文件中的中文正确显示;

设置完成后点击下一步;

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-4-11 基础参数配置

3. 如图6-4-12所示,在“读取参数”弹窗中,可以对选中的文件夹进行监控:根据输入的筛选关键字,DFCloudkit工具会监控CSV文件所在的文件夹,文件夹中所有文件名符合筛选关键词的文件,都会进行导入,设置完成后点击下一步;

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-4-12 读取参数

接下来进入数据表结构页面,在这个页面,可以看到导入的CSV文件的列名、是否设置为主键(至少得有一个主键;双击设置)、数据类型和样例数据;

4. 如图6-4-13所示,在该页面,可以选择导入的列、重新命名表名及列名、修改列类型,还可以勾选是否“包含导入时间字段”,将当前导入时间作为单独一列生成并导入系统中,配置完成确认无误后点击下一步;

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-4-13 数据表结构

5. 如图6-4-14所示的文件自动采集的时间配置,在该页面中,可以为该数据导入的任务进行命名并设置系统自动动采集数据的重复周期,可以设置每小时、每天、每周和每月,同时配合时间点,固定一个自动采集的时间周期;

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-4-14 自动采集

6. 设置完毕后点击“完成”,此时会在任务列表中新增一条数据采集任务,如图6-4-15所示,该任务会按照设定的时间周期进行定时采集,若需要立即采集数据至DataFocus云应用,可以右键该任务,选择“立即同步”;

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-4-15 任务列表

当日志记录中出现如下图6-4-16所示的内容,说明CSV文件同步完成,DataFocus云应用中也会出现该CSV文件,如图6-4-17;

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-4-16 同步完成

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-4-17 云应用同步完成

从数据源导入表

DFCloudkit小工具可以导入MySql数据库、Micrsoft SQL Server数据库、Oracle数据库中的原始数据表导入DataFocus云应用。这里以MySql数据库表的导入操作进行示例:

1. 如图6-4-18所示,数据来源选择“MySql数据库表”后,点击下一步;

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-4-17 选择mysql数据库表

2. 如图6-4-18,在“基础参数”配置弹窗中,填写数据库服务地址、数据库服务端口、数据库名、用户名密码并选择编码方式,配置完成后点击下一步;

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-4-18 mysql数据库表基础参数

3. 如图6-4-19所示,在弹出的“读取参数”弹窗中,选择需要导入的数据表,完成后点击下一步;

红框区域为搜索区域,可根据表名快捷搜索数据表;

在底部“自定义SQL语句”输入sql语句,即可导入SQL语句执行的结果集;

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-4-19 mysql数据库表读取参数

4. 接下来同样是进入“数据表结构”页面,如图6-4-20所示,该页面操作和CSV文件导入一致,这里就不重复了,点击下一步;

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-4-20 mysql数据库表结构

5. 如图6-4-21,弹出的文件自动采集的时间配置,同样是配置该采集任务的重复周期时间点,与CSV文件时间配置一致;

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-4-21 mysql数据库表自动采集

6. 设置完毕后点击“完成”,如图6-4-22所示,任务列表同样会新增一条采集任务,可以右键该任务,选择立即同步;

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-4-22 mysql数据库表立即同步

7. 当日志记录中出现如下图6-4-23所示的内容,说明MySql数据库表同步完成,DataFocus云应用中也会出现该表格文件,如图6-4-24所示;

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-4-23 mysql数据库表同步成功

《产品手册
V5.0.2》
《产品手册 V5.0.2》

图6-4-24 mysql数据库表云应用同步完成