Skip to content

第二章 数据连接与管理

2.1 认识DataFocus数据

2.1.1 数据类型

在数据管理页面点击一张数据表,可以在列信息中可以看到该表中每列的信息,如显示名称、数据类型、描述、列类型、聚合方式、同义词、索引类型、地域类型等,如图2-1-1所示。

图 2-1-1
数据类型
图 2-1-1 数据类型

其中数据类型是代表每一列中数据的类型,在DataFocus中数据类型共有7种,分别为:string(字符型)、int(整型,范围介于smallint和bigint范围之间)、double(双精度型)、timestamp(日期型,共包含10种日期格式)、bigint(整型,范围比int型更大)、smallint(整型,范围比int型范围小)和boolean(布尔类型),在导入数据的配置表信息中,需选择对应的数据类型,选择完成后,方可开始导入,如图2-1-2所示。

图 2-1-2
导入时修改数据类型
图 2-1-2 导入时修改数据类型

一般较常用的是前四种数据类型,若导入的数据表中的某列为整数数值,则可选择int类型(若该整数数值为年份、月份或者编号数据等,则可选择string类型);若数据后带有小数点,则可选择double类型;若数据是日期格式中的一种,则选择timestamp类型。

数据类型在导入时配置固定,不可轻易进行修改,如果真的需要进行变动,可以在搜索页面借助公式进行转换,如图2-1-3所示。

图 2-1-3
添加公式修改数据类型
图 2-1-3 添加公式修改数据类型

2.1.2 列类型 DataFocus中的列类型有两种,分别是attribute(属性列)和measure(数值列),属性列一般作为X轴和图例使用,数值列作为Y轴使用。列类型可以在列信息中直接改动,但是只有数值列可以修改列类型为属性列,属性列不能修改列类型,如图2-1-4所示。

图 2-1-4
列类型
图 2-1-4 列类型

2.2 数据连接 在当今的工作和研究中,数据分析的重要性得到了越来越多人的认可。人们在学习和工作中也运用定量和定性的方法对行业、企业和部门的相关数据进行分析,不仅能帮助改进工作中的不足,还可以为企业未来的发展方向提供有益的参考。

而我们利用DataFocus分析工具帮助进行数据分析的基础就是数据。若是没有了数据,就算拥有者再厉害的数据分析工具,都是空谈。因此这一小节,我们就将来介绍一下DataFocus中的一些基本的数据连接方式。

2.2.1 连接本地数据源 1、导入本地数据

首先是介绍如何连接本地数据源,本地数据文件是我们最常见也是最实用的一类数据。拥有数据管理权限的用户在“数据管理”页面的操作栏中才会显示“导入数据”的按钮,如图2-2-1所示。

图 2-2-1
导入数据表
图 2-2-1 导入数据表

点击“导入数据”,可以看到DataFocus本地导入数据的一些规则,如图2-2-2所示。从图中可以看到,DataFocus支持本地的csv、excel、json文件的导入,且文件大小需小于50M,基本能够满足企业正常数据分析的需求。

图 2-2-2
可上传文件类型
图 2-2-2 可上传文件类型

接下来将以csv数据导入操作进行演示并讲解:

点击“请选择文件”按钮,选中电脑中需要进行导入的数据文件,单击打开,选择好后再点击“上传”,如图2-2-3所示。

图 2-2-3
选择文件上传
图 2-2-3 选择文件上传

文件上传成功后会显示如图2-2-4所示的“配置csv”信息界面,这里可以将您的本地数据进行简单的清洗处理,比如填补缺失值、选择文件编码等等。这里特别注意,一定要选择正确的文件编码,才能将导入文件中的中文部分字体正确显示。

图 2-2-4
设置文件编码
图 2-2-4 设置文件编码

点击下一步,如下图2-2-5所示,可以对表格的信息进行简单修改,包括修改需要导入的列、修改列名、修改导入表名、修改数据类型,配置结束后点击“开始导入”。导入的文件会根据上传数据的类型显示为不同的来源,如图2-2-6所示。

图 2-2-5
配置表信息
图 2-2-5 配置表信息
图 2-2-6
导入成功
图 2-2-6 导入成功

2、批量合并导入excel文件

上面讲述了单张数据表导入的操作步骤,如果您的本地数据表有几十张几百张,那么刚刚介绍的方法就不适用了。因此DataFocus就提供了一种数据表的批量导入方法。

首先需要输入连接的服务器IP或域名,以及执行导入的用户标识ID、Key。配置页面如图2-2-7所示。

图 2-2-7
导入工具初始配置
图 2-2-7 导入工具初始配置

DataFocus系统中,用户标识所在位置如下组图2-2-8所示。

图 2-2-8
用户标识
图 2-2-8 用户标识
图
2-2-8 用户标识
图 2-2-8 用户标识
图 2-2-8
用户标识
图 2-2-8 用户标识

选择需要批量导入的文件目录。选择目录后,工具左侧“目录下所有excel文件”会更新当前目录下所有的excel文件。检查文件无误后点击“同步导入”。

配置过同步文件目录后,会弹出数据预览窗口。通过点击预览数据中具体某行后点击“设置选定行为标题的栏”来确定数据中某行作为标题列名。也可以通过添加“关键字”的方式对数据表中进行行过滤,工具会根据某行数据中是否含有关键字来过滤掉某行数据,如图2-2-9所示。

图 2-2-9
配置行过滤
图 2-2-9 配置行过滤

完成数据过滤设置后,点击“同步导入”后会弹出即将导入的excel的属性配置。用户可自行配置(表名,描述,数据列,列名,数据列,数据类型)。确认无误后点击“确认导入”,如组图2-2-10所示。

图 2-2-10
配置导入文件
图 2-2-10 配置导入文件
图 2-2-10
配置导入文件
图 2-2-10 配置导入文件

点击 “确认导入”。导入成功后,整理合并后的文件状态会变更为“已导入---导入成功”。

2.2.2 连接服务器数据源 上面介绍了一些本地文件的导入方法,但现阶段随着时代的发展和数据量的暴增,仅仅是简单的本地数据文件以及无法满足企业的基本需求,因此越来越多的企业选择使用数据库来进行数据存储。这一小节主要介绍两种类型的数据库连接方式。

1、导入数据

首先是导入数据,导入数据是将企业的业务数据系统和DataFocus进行连接,将系统中的数据导入DataFocus进行分析数据,以DataFocus作为一个数据仓库。

同样是数据管理权限的用户才能在“数据管理——数据源”页面中显示“新建数据源”,如图2-2-11所示。

图 2-2-11
新建数据源
图 2-2-11 新建数据源

点击“新建数据源”,选择数据源类型为导入数据,如图2-2-12所示。

图 2-2-12
选择数据源类型
图 2-2-12 选择数据源类型

接下来就是正式创建一个新的数据源,主要步骤可以分成四步:

第一步:创建一个连接。选择数据源类型完毕后,需要在弹出的界面输入内输入数据源的基本信息,包括“连接类型”、“数据库类型”、“连接名”、“服务器”、“端口”、“数据库名”、“用户名”、“密码”,并且设置是否需要定时导入,如图2-2-13所示。

目前版本支持的连接类型包括:mysql、oracle、sqlserver、postgresql、SAP、Sybase。

信息填写完毕后,点击页面下方的‘测试连接’按钮,若是用户输入正确会提示连接成功,否则显示连接失败。连接成功后点击“创建”进入下一步;

图 2-2-13
创建连接
图 2-2-13 创建连接

第二步:选择要导入的表。如图2-2-14所示,左边显示的是企业数据库中所有的数据表,右边显示用户选择需要分析的表。用户勾选想要导入的数据表,点击“右移”按钮,即可将数据表选择至右侧的已选表框。点击表名后的齿轮图标则可以对数据表进行筛选选择,配置表中特殊列的导入方式和过滤条件,选表完成后点击“下一步”。

图 2-2-14
选择导入的数据表
图 2-2-14 选择导入的数据表

第三步:选择更新方式。如图2-2-15所示,每张表右端都会显示“全量”与“增量”两个按钮;而数据框右上角则有“全部全量”与“全部增量”两个选项。“全部全量”适用于数据第一次导入,表示导入所有的数据。点击“全部全量”,则所有选中的数据表右侧的 “全量”按钮会显示被选中;“全部增量”适用于数据量会不定时增多的的情况,且如果是第一次导入,“全部增量”其实就是全量导入,因此比较推荐直接选择“全部增量”即可,系统只会导入增加部分而不会重复导入,避免浪费时间。最后点击“确定”按钮,数据源创建成功。

图 2-2-15
保存配置
图 2-2-15 保存配置

第四步:开始导入。在数据源新建完成后,数据源并不会立刻开始导入,还是需要用户选中需要进行导入的数据源,点击页面左上角的“开始”按钮,如图2-2-16所示。数据源才开始正式导入。

图 2-2-16
数据源开始导入
图 2-2-16 数据源开始导入

如图2-2-17所示,当数据源的任务状态显示为“SUCCESS”,进度为100%的时候,数据源的导入就算结束了,选中的表格也正式进入了系统的工作表模块,可供进行分析。

图 2-2-17
导入成功
图 2-2-17 导入成功

2、直连数据

除了上面介绍的“导入数据”,DataFocus还支持的一种数据源类型是直连数据。如果说“导入数据”是将DataFocus作为一个数据仓库来用的话,那么“直连数据”就不同了。直连数据不需要将企业数据库中的数据导入到DataFocus系统,它的优势在于直连数据支持实时更新,只要企业数据库中的数据出现变动,DataFocus中制作的中间表、图形等都会随之变动。但也正是因为直连数据的这些特性,不建议对数据量较大的情况进行直连数据的分析,因为不进行数据导入,直连数据的分析快慢取决于企业的业务系统的情况。

创建数据源连接的步骤,和“导入数据”基本一致,但目前版本的直连数据仅支持mysql数据库的连接,如图2-2-18所示。

图 2-2-18
直连数据源创建连接
图 2-2-18 直连数据源创建连接

也是利用和“导入数据”同样的操作选择需要导入系统的表格,如图2-2-19所示。

图 2-2-19
选择导入的数据表
图 2-2-19 选择导入的数据表

导入成功的直连数据,如图2-2-20所示。

图 2-2-20
连接成功
图 2-2-20 连接成功

2.2.3 数据填报 数据填表功能是应一些客户的反映而添加制作的一个功能,就是可以在DataFocus系统中自己制作一张表格,比较适用于各部门填写“请假单”时使用。

有数据管理权限的用户同样可以在数据管理中找到“数据填报”的页面,如图2-2-21所示。

图 2-2-21
新建填报数据
图 2-2-21 新建填报数据

点击左上角的“新建填报数据”,在弹出的信息页面,填写新建报表的一些基本信息,包括报表的名称、描述和列信息,如图2-2-22所示,填写完毕后点击确定。

图 2-2-22
填写表格信息
图 2-2-22 填写表格信息

此时新建的报表虽然有了列名和表名,内部数据仍是空白的。此时,选择该表报右侧的“填报”按钮,如图2-2-23所示。

图 2-2-23
填报数据
图 2-2-23 填报数据

在弹出的“在线填报”页面内进行数据填充,更新完数据行后,点击确认,自动提交到数据模板审核者处进行审核,如图2-2-24所示。

只有通过审核的数据可以更新同步到对应的工作表使用,驳回的数据将返回到填报人处重新进行填报。

图 2-2-24
等待审核
图 2-2-24 等待审核

2.2.4 数据更新

1、本地数据

如果是本地电脑导入的单个csv文件,若是数据出现了更新,则需要您重新按照导入的步骤再导入一次。

若是利用批量合并导入的excel文件中出现新增数据,则可以在工具中点击“刷新目录文件”,即会更新到新增的sheet,记录数。此时整理合并的表显示“待更新”,如图2-2-25所示。

图 2-2-25
更新表数据
图 2-2-25 更新表数据

点击“同步导入”即会同步更新至DataFocus环境中,此时整理合并的表显示“已更新--更新成功”,如图2-2-26所示。

图 2-2-26
导入状态
图 2-2-26 导入状态

同时也可以使用定时导入功能,可定时导入数据(每天/每周/每月),可以设置时间间隔导入,如图2-2-27所示。

图 2-2-27
定时导入设置
图 2-2-27 定时导入设置

3、直连数据源

在上面导入数据时也已经介绍过了,直连数据是可以实时更新的,只要企业数据库中的数据发生变动,DataFocus中制作出的图表就会随之变动。

4、导入数据源

数据源的更新可以在导入时进行设置,如图2-2-28所示。。

定时导入的时间选项有:无、每天、每周、每月。无表示不设置定时导入,其余则代表用户建立的该数据源会在设置好的时间自动导入DataFocus系统并自动开始构建模型,无需用户再次手动导入。

图 2-2-28
数据源更新设置
图 2-2-28 数据源更新设置

2.3 数据处理 2.3.1 行列转换 当数据符合行列转换的数据结构要求时,可以从“操作”选项单内找到“行列转换”选项并进行操作,字体为黑色代表可用行列转换,字体为灰色则代表不可用,如图2-3-1所示。

图 2-3-1
行列转换
图 2-3-1 行列转换

行列转换还可以分为行转列和列转行两种情况:

行转列用于将数据按某一列的列中值转化为对应的多个列;列转行用于将多列数值列转化为有单一映射关系的两个列(1个属性列1个数值列)。这里利用列转行操作进行演示。

点击图2-3-1中的行列互转,跳出行列互换设置弹窗,先选择转换数据,勾选需要转化的属性列和对应的数值列(可一可多),如图2-3-2所示。

图 2-3-2
选择转换数据
图 2-3-2 选择转换数据

点击“下一步”,配置转换数据,包括为转换后的属性列和数值列进行命名,以及修改转换后的属性列列中值,如图2-3-3所示。

图 2-3-3
配置转换数据
图 2-3-3 配置转换数据

转换数据配置结束后如图2-3-4所示。

图 2-3-4
配置转换数据结束
图 2-3-4 配置转换数据结束

最后列转行结束后的展示图如图2-3-5所示。

图 2-3-5
行列转换结果
图 2-3-5 行列转换结果

2.3.2 清洗数据 在DataFocus中清晰数据的方式主要有两种,第一种是直接在导入时预处理CSV文件,另一种是利用中间表进行筛选,行列转换等复杂清洗,帮助后续制作历史问答和看板提供数据基础。

1、预处理

如图2-3-6所示,这是CSV文件导入时的配置选项,通过勾选可以将CSV文件进行简单的预处理,

图 2-3-6
csv文件预处理
图 2-3-6 csv文件预处理

2、复杂清洗

复杂清洗主要是指将搜索得出的结果或者筛选、行列转换后得出的数据通过中间表进行保存,以便下一次的使用或者帮助做图。

这里介绍两种制作中间表的方法:

第一种,问答中间表。在搜索页面中通过将搜索分析,将得出的结果点击“操作”按钮,选择“保存为中间表”,如图2-3-7所示。

图 2-3-7
保存为中间表
图 2-3-7 保存为中间表

问答中间表因为是在搜索页面建立的,可以对数据进行一些处理,比如筛选、关键词搜索等,如图2-3-8所示。

图 2-3-8
筛选列中值
图 2-3-8 筛选列中值

对需要保存的中间表进行命名,如图2-3-9所示。

图 2-3-9
命名中间表
图 2-3-9 命名中间表

第二种,关联中间表。在数据管理页面创建中间表,在数据管理模块中点击右上角“操作”按钮,选择“创建中间表”,如图2-3-10所示;

图 2-3-10
创建中间表
图 2-3-10 创建中间表

点击创建中间表,先选择数据源,如图2-3-11所示,可以是单张数据表,也可以使有关联关系的多张表格。

图 2-3-11
选择数据
图 2-3-11 选择数据

根据选择的数据表双击左侧列名,将其选中显示在页面中间,点击“中间表名”对该中间表进行命名,如图2-3-12所示。

图 2-3-12
选择数值列
图 2-3-12 选择数值列

点击“操作”按钮,再点击保存,创建该中间表。创建成功后页面会刷新回到数据管理页面,如图2-3-13所示。

图 2-3-13
保存中间表
图 2-3-13 保存中间表

在数据管理页面展示两种方法创建的中间表,如图2-3-14所示,可以看到不同方法创建的中间表表类型显示不同。

图 2-3-14
创建中间表结果
图 2-3-14 创建中间表结果

2.4 多表整合 在进行数据分析的时候,经常会出现需要多张表格联立使用的情况,因此就需要在系统中添加表与表之间的关联关系。

在数据管理页面,点击一张表格,在弹出的表格信息中选择“关联关系”,如图2-4-1所示。

图 2-4-1
添加关联关系
图 2-4-1 添加关联关系

点击“添加关联”,在弹出的具体的操作界面,如图2-4-2所示,填写关联名、维度表、连接类型、连接筛选(选填)、源列、目标列的内容。

维度表就是指要与该表建立关联关系的数据表,点击维度表的输入框会出现系统里现有的前7张表格,可以直接选择或者输入表名选择自己想要关联的表;连接类型分为三种:内连接、左连接及右连接;源列和目标列就是关联两张表格的数据列。

图 2-4-2
填写关联信息
图 2-4-2 填写关联信息
点击“添加关联”,就会在“关联关系”的页面出现两张表格的表名以及箭头符号,代表了关联关系的方向和关联的表格信息,如图2-4-3所示。
图 2-4-3
关联条件
图 2-4-3 关联条件

关联好的两张表格也会在数据管理页面通过两个红色小箭头标注,如图2-4-4所示。

图 2-4-4
关联展示
图 2-4-4 关联展示

关联结束后,需要到“模型构建”处点击重新构建模型,如图2-4-5所示。

图 2-4-5
模型重建
图 2-4-5 模型重建

当模型构建的状态变成SUCCESS,进度为100%时,代表模型构建成功,如图2-4-6所示。

图 2-4-6
模型构建成功
图 2-4-6 模型构建成功

关联好的多张表格可以在搜索页面进行多表联立搜索,如图2-4-7所示。

用户在创建表关联关系的时候,表关联不能出现回路和闭环。

图 2-4-7
关联搜索
图 2-4-7 关联搜索