数据管理
目录
数据管理
在数据管理功能模块除数据管理权限之外的用户在该功能模块仅能查看被分配了权限的数据表的数据内容（不包括实际的表内数据）。拥有数据管理权限的用户可以看到自己组被分配和创建的所有中间表及工作表的全部信息。
数据查看
数据的来源有两种：导入数据、直连数据。导入数据是存储在系统中的数据表，可以直接调取进行使用；直连数据是直连到用户数据库的数据表，与导入数据不同并不存储在系统中，每次使用时均需要在用户的数据库中进行查询然后结果返回到系统中显示。
数据类型有四种：数据表、填报数据、问答中间表、关联中间表。
中间表是对工作表中的数据进行二次加工后的数据表，当工作表的结构发生变化后，中间表会受影响；问答中间表是在搜索页面生成的中间表，关联中间表是在数据管理页面生成的中间表，两者区别为，问答中间表会在生成时进行数据聚合，而关联中间表不会。
显示灰色的数据表为当前不可使用的数据表，需要进行模型构建后才可以进行使用与查看。
在数据管理中，点击任意的数据表都会弹出如下图5-1-1所示的界面。
数据内容
列信息
在列信息中可以看到该表中每列的信息，如列显示名称、描述、数据类型、列类型、聚合方式、优先级等信息如图5-2-1所示。
有数据管理权限的用户可以将数据表的列信息中的内容进行修改，如：显示名称、描述、列类型、优先级等。其中当修改的列名称及其同义词与关键词重复时会出现错误提示。
将修改好的信息点击保存后再次打开可以看到信息已被更改。若更改了表中的列名称，则在搜索模块中能看到该列名称已被替换为修改后的列名称。
关联关系
管理员权限用户可以对工作表建立关联关系。
1.查看关联关系
关联关系是指表与表之间的关联关系。在数据管理列表中，数据表名称上方有“
”箭头，则表示该表有与其他表建立关联关系，且该表为主表，则点击该表的关联关系可以看到它所关联的目标表及其关联名，如下图5-2-2所示；若数据表名称上方有“
”箭头，表示该表有与其他表建立关联关系，且该表不是主表，则点击该表的关联关系不能看到它所关联的主表及其关联名；若数据表名称上方有“
”箭头，标识该表有与其他表建立联系关系（必为两个及以上），且即有作为主表的关联关系，也有作为非主表的关联关系存在。
2．删除关联关系
若想要删除两表之间的关联关系，将鼠标移至两表之间的连线上，会出现‘删除’按钮，点击删除即可解除两表之间的关联关系。
若该表并无任何关联关系那么在该表名称上方不会出现“”或者“”“”箭头，点击关联关系按钮弹出的界面只会显示‘添加关联’与‘取消’这两个选项，在页面中间会显示“当前表没有关联其他表”，如下图5-2-3所示。
3. 新增关联关系
若想增加该表与其他表的关联关系，点击界面左下方‘添加关联’的按钮就会弹出具体的操作界面如图5-2-4，需要填写的包括关联名、维度表、连接类型、连接筛选（选填）、源列、目标列。
关联名是指两个表关联关系的名称，可以自己随意命名；
维度表是指要与该表建立关联关系的数据表，点击目标表的输入框会出现系统里现有的所有表，可以直接选择自己想要关联的表；
连接类型分为三种：内连接、左连接及右连接；
源列是显示该表中所有的数据列，点击源列的输入框会出现该表中所有的列名及其数据类型；
目标列是显示目标表中所有的数据列。点击目标列的输入框会出现该表中所有的列名及其数据类型；
选择要匹配的数据列后点击‘添加关联’该关联关系就添加成功了。若对一张目标表有多个需要关联的列，可以通过点击源列下方的‘＋’按钮增加新的源列及目标列的输入框。（建立好关联关系后会显示提示告知用户需至系统管理功能模块重新构建模型才能时使建立的关联关系生效）
用户在创建表关联关系的时候，表关联不能出现回路和闭环。
4. 查看所有表关联关系
当用户想宏观的查看所有表的关联关系，或者由于时间长以及其他原因对数据表之间的关联关系不清楚时，可以点击任意表的关联关系页面右上角的‘查看所有表关联’。进入全部表的关联关系总览页面如图5-2-5所示。
依赖关系
点击依赖关系弹出的界面可以看到依赖该表建立的数据看板及历史问答以及中间表，如下图5-2-6所示。
智能洞察
智能洞察功能模块目前仅对专业版及以上开放，标准版仅可见入口不能使用。
创建中间表
拥有数据管理权限的用户在数据管理的操作栏中才会显示‘创建中间表’的按钮。
中间表有两种：
1. 问答中间表：在搜索页面中通过将搜索分析，将得出的结果点击‘操作’按钮，选择“保存为中间表”，如图5-4-1所示；
2. 关联中间表：在数据管理页面创建中间表，在数据管理模块中点击右上角‘操作’按钮，选择“创建中间表”如图5-4-2所示；
点击创建中间表，会出现如下图5-4-3所示界面，具体操作如下：
1. 在页面的右上角的选择数据源即选择要作为数据源的表，被选中的表会显示在‘选择数据’的下方，然后根据选择的数据表选中所需的列名，被选中的列名会显示在页面中间；
2. 点击‘中间表名’对该中间表进行命名；
3.点击‘描述’对该中间表进行描述（非必填）；
4.点击‘增加公式’在该中间表中增加公式（公式操作与搜索页面一致，非必填）；
5.对需要增加前缀的列打勾再点击‘添加前缀’按钮，会弹出输入框可输入想要增加的前缀（非必填）；
6.可以直接点击列名对显示的列名进行修改，修改公式名需在左下方添加公式处修改公式名（非必填）；
7.对想要不使用的列名将其打勾再点击‘删除’按钮，可将列名在使用栏中除去，删除公式需在左下方点击公式名前的‘×’按钮，删除公式；
8.若是使用2张以上的数据表来创建中间表，则需在‘我的关联关系’中构建选中的所有表之间的关联关系。若是选择的表在数据管理中已建立关联关系，那么点击‘我的关联关系’会之间显示选中表早前建立的关联关系。用多表创建中间表，表与表之间必须要建立关联关系。
9. 点击‘操作’按钮，再点击保存，创建该中间表。创建成功后页面会刷新回到数据管理页面。
10. 创建中间表成功后页面会刷新至数据管理页面。如图5-4-4，通过table创建的中间表类型会显示为‘prejoin’，当状态显示为‘success’时表示中间表构建完成可以使用该表。除成功和失败两个状态，其他状态都不能点击查看该表。
修改关联中间表
关联中间表的详情页面会显示‘编辑中间表’按钮。点击该按钮会回到创建中间的页面，修改中间表是在该页面进行修改，具体操作与创建操作一致，最后点击操作中的‘保存’该中间表会重新创建，如图5-5-1。
导入本地数据
拥有数据管理权限的用户在数据管理的操作栏中才会显示‘导入数据’的按钮，可以进行本地的csv、excel、json文件的导入。这里以csv数据导入操作进行示例：
1. 在数据管理功能模块点击‘操作’按钮，选择‘导入数据’，会弹出如图5-6-1的界面；
2. 在‘请选择文件’按钮上方会提示目前支持的文件 类型及文件大小，点击‘请选择文件’按钮，将电脑中想要导入且符合要求的数据文本文件导入，选择好后再点击上传；
3. 文件上传成功后会显示如图5-6-2的配置信息界面（图中为csv数据的配置信息界面）。这里特别需要注意，要选择相对应的编码规则，才能将导入文件中的中文正确显示，设置完后点击下一步；
4. 进入下一步，如下图5-6-3所示，可选择导入的列、重新命名表名及列名、可修改列类型，还可以预览导入的数据表，配置完成确认无误后点击“开始导入”，导入的csv文件属于工作表。
批量合并导入excel文件
DataFocus现在支持批量导入excel文件，需要使用DataFocus批量导入工具。
本节介绍批量导入工具的使用方法。
初次导入
- 配置工具
需要输入连接的服务器IP或域名，以及执行导入的用户标识ID、Key。配置页面如图5-7-1。
用户标识所在位置如下组图5-7-2所示。
- 选择需要同步的文件目录；
选择需要批量导入的文件目录。选择目录后，工具左侧 “目录下所有excel文件”会更新当前目录下所有的excel 文件 。检查文件无误后点击“同步导入”。
- 配置行过滤条件；
配置过同步文件目录后，会弹出数据预览窗口；
通过点击预览数据中具体某行后点击“设置选定行为标题的栏”来确定数据中某行作为标题列名。也可以通过添加 “关键字”的方式对数据表中进行行过滤， 工具会根据某行数据中是否含有关键字来过滤掉某行数据。如图5-7-3所示。
- 配置导入文件属性；
完成数据过滤设置后，点击“同步导入”后会弹出即将导入的excel的属性配置。用户可自行配置（表名，描述，数据列.列名,数据列.数据类型）。确认无误后点击 “确认导入”。如组图5-7-4所示。
点击 “确认导入”，导入成功后 ，整理合并后的文件状态会变更为“已导入---导入成功”。
更新表内数据
- 当已导入DataFocus的原始excel 中有新增数据，在工具中点击“刷新目录文件”，即会更新到新增的sheet，记录数。此时整离合并的表显示"待更新"。如图5-7-5所示。
- 点击 ‘同步导入’即会同步更新至DataFocus环境中，此时整离合并的表显示"已更新--更新成功"。如图5-7-6所示。
同时也可以使用定时导入功能，可定时导入数据（每天/每周/每月），可以设置时间间隔导入。如图5-7-7所示。
数据权限
系统中的数据表资源是依存于组的，所以将数据表分配给对应组，以供组成员使用。拥有数据管理权限的用户可以为本组及下级组分配数据表。数据权限管理页面如图5-8-1所示。
用户选择分配的组，勾选对应的数据表，然后进行相应的配置，完成后点击确认即可。
数据表配置项：
1.Public
勾选该项则默认所分配组下的下级组均拥有该表的数据权限。
2.过滤条件
过滤条件可以实现细粒度的行列控制，精确选择分配对应数据表中的哪些列以及列中具体的数据范围，如可过滤选择属性列中等于或包含某字符的行，数值列与时间列选择一定范围等。
标签
如果是拥有管理员权限的用户在点击‘应用标签’按钮时可以在显示的标签的底端看到‘增加’这一选项，点击‘增加’会出现颜色选项圈及命名栏，该用户可以添加新的标签。
数据管理页面应用标签功能与数据看板页面的应用标签功能操作一样，详见第三章 3.6，此处不再详细述说。
数据删除
在数据管理中删除数据是通过将想要删除的工作表/中间表名称前的白框打勾，然后再点击名称上方的‘删除’按钮进行删除。
数据管理员权限用户可以删除所有表，其他权限用户只能删除自己创建的中间表及被分享的表。若是有数据看板或者历史问答等内容是依赖某表建立的，则删除那张表时会有提示并展示依赖该表的内容，若是想要将该表删除必须先将依赖内容删除，删除顺序是先删除数据看板，再删除历史问答，最后删除表。
数据源
只有管理员权限用户在数据管理模块会显示工作表与数据源两个选项，点击最上方中间的数据源会显示如图5-11-1的页面。
新增数据源
创建一个新的数据源分为3个步骤：
1. 创建一个连接。点击“新建数据源”，选择数据源类型“导入数据”或“直连数据”（目前直连数据仅支持MySQL数据库）。选择完毕后，在弹出的界面输入‘连接类型’、‘连接名’、‘服务器’、‘端口’、‘数据库名’、‘用户名’、‘密码’，并且设置 ‘定时导入’，如图5-11-2所示；
目前版本支持的连接类型有：mysql、oracle、sqlserver、postgresql、SAP、Sybase。
注：定时导入是指用户建立数据源时设置以后是否要在固定时间让系统自行导入。创建好的数据源，以后便不需手动导入数据，系统会在用户设置的时间开始自动导入数据且数据导入完成后会自动开始构建模型。
定时导入的时间选项有：无、每天、每周、每月，无表示不设置定时导入；点击页面下方的‘测试连接’按钮，若是用户输入正确会显示提示连接成功，否则显示连接失败。
连接成功后点击‘创建’进入下一步；
2. 选择要导入的表。左边显示用户连接的数据库中所有的数据表，右边显示用户选出需要导入的表。
若是需要将表全选，则直接点击‘全选’按钮即可将表全部选中打勾；用户将想要导入的表前的白框打勾再点击中间的‘右移’按钮，将数据选至已选表框，用户也可以将已选表框中表前的白框打勾再点击‘左移’按钮，取消选择该表。点击表名后的齿轮图标可以对数据表进行筛选选择，配置表中特殊列的导入方式和过滤条件，选表完成后点击‘下一步’，如图5-11-3所示；
3.选择更新方式。每张表右端都会显示‘全量’与‘增量’两个按钮；在数据框右上角有‘全部全量’与‘全部增量’两个选项，这两个按钮是为了配置导入的数据数量。‘全部全量’适用于数据第一次导入表示导入所有的数据。点击该按钮数据框中所有的表右端的‘全量’按钮会显示被选中；‘全部增量’适用于数据量会不定时增多的的情况，如在第一次导入后之后数据导入只要配置为增量导入，系统便只会导入增加的部分而不用全部再导入从而节省时间。最后点击‘确定’按钮，数据源创建成功，如图5-11-4所示。
导入数据源
创建好数据源后会回到数据源界面，在页面中间会显示刚创建的数据源内容以及数据源目前的状态，将要导入的数据源名称前的白框打勾再点击‘开始’按钮，数据表便开始导入。任务状态、进度、导入状态都会随着导入的进度改变。如图5-11-5。
注：‘开始’按钮表示开始导入数据；‘暂停’表示停止导入数据；‘回退’表示将数据导入进度回退至最初状态，且要使‘回退’按钮生效，必须先点击‘暂停’按钮再点击‘回退’按钮。
编辑数据源
只有任务状态处于init、success、failure这三个状态下才能再次编辑数据源，只有这三种状态点击数据源在弹出的界面右上角会显示‘编辑’按钮。点击‘编辑’按钮会显示创建数据源的界面如图5-11-2，在该界面会显示早前创建该数据源所填写的内容，用户可以全部修改或者修改部分，只要填写的内容是正确的便可以进入第二步骤。
若是用户在第一步骤中只是修改了连接名或定时导入的时间，那么在第二步骤中还是会显示之前数据库中的表及被选中的表；
若是用户在第一步骤中修改了连接类型、数据库等，那么在第二步骤中左边可选表框中只会显示新的数据库表，右边的选中框中不会显示任何表，用户需要重新再选择。最后在第三步骤中点击‘确定’按钮，数据源便修改完成，页面刷新至数据源页面。
填报数据
DataFocus现在支持轻量在线填报数据功能。数据管理页面中的填报数据模块，可以用于进行数据填报。用户可自定义编辑填报模板，填报审核后生成对应的工作表，用于后续的搜索分析，制作历史问答、数据看板。
新建填报数据模板
在数据管理页面-填报数据，点击左上角的“+新建填报数据模板”跳出新建填报模板配置弹窗，如图5-12-1所示。
用户填写填报模板的名称描述，并设置每个列的属性、列名等等信息，点击左下角的“+”可以增加新的列。
创建完成的填报数据模板会在工作表中显示为一张表类型为填报数据的表，如组图5-12-2所示。
填报数据
点击填报数据列表中已有数据模板的操作项中的填报，跳转对应的数据填报页面，用户根据模板的设置进行新增数据即可，如图5-12-3所示。
更新完数据行后，点击确认，自动提交到数据模板审核者处进行审核。
审核数据
填报完成的数据会自动提交到模板审核者出进行审核，审核者点击对应表的审核操作项，跳出的报表审核弹窗中会显示待审核的数据填报来源信息和详细的填报数据，如图5-12-4所示。
点击审核跳转到报表审核页面，审核者可以对每条数据进行批注和“通过”/“驳回”的操作，操作完成后，点击“保存”完成审核流程，如图5-12-5所示。
只有通过的数据可以更新同步到对应的工作表使用，驳回的数据将返回到填报人处重新进行填报。
填报权限
填报数据需要对哪些用户可以对填报数据模板进行填报、审核的权限进行指定。 点击对应填报数据模板的操作中的权限，跳出权限设置弹窗，如图5-12-6。
用户还可以启用外部填报链接，让用户在有密码的情况下直接从外部链接进行数据填报，流程如组图5-12-7所示。
编辑填报数据模板
点击对应填报数据模板操作项的“编辑”，跳出数据模板编辑弹窗，可以对初始创建时设置的模板名称、描述，以及各列的信息进行编辑修改，如图5-12-8所示。
修改完后确认，对应的工作表也会同步该修改。
删除填报数据模板
点击对应填报数据模板后的“删除”选项，可以对该模板进行删除，系统为避免用户误操作，会跳出确认弹窗，如图5-12-9所示。
确认删除后，对应的工作表也会自动删除。
用户也可以勾选列表中数个填报数据模板前的勾选框，点击左上角的“删除”按钮，进行批量删除。
