MapForce——数据映射、转换和 ETL 工具

健康强国 1523 0

Altova MapForce 为高级数据映射、转换提供无与伦比的能力和灵活性。

    Altova MapForce 是一款屡获殊荣的的图形化数据映射、转换和集成工具,它在 XML、数据库、EDI、XBRL、文本文件、Excel、JSON 和/或 Web service 的任意组合之间映射数据,然后,立即转换数据或生成用于重复转换的执行文件或源代码。


    什么使 MapForce 优于其他数据集成工具?

    只需花费用于采购那些“大块头”数据管理产品的一小部分费用,即可拥有 MapForce 平台,且不受其他遗留产品固有的过时设计功能所束缚。

    MapForce 亮点

    ——图形化的数据映射设计

    ——数据集成

    ——数据处理函数

    ——交互式的数据映射调试器

    ——XML 映射

    ——JSON 数据转换

    ——数据库映射

    ——企业级 ETL

    ——文本文件与 Excel 映射

    ——EDI 映射

    ——数据映射 SOAP 和 REST Web service

    ——XBRL 数据映射

    ——多对多或链式数据映射

    ——生成 MapForce 服务器的执行文件

    ——生成数据映射文档

    ——生成免版税的数据转换源代码

    客户如是说

    “我们将 Altova MapForce 与业界所有主要数据集成应用系统进行了对比评估,发现它是迄今为止最强大、最易于使用的。”

    Mark Beede,HealthTrans

    “我们已经测试驾驭 MapForce 3 天了,对它的直观设计和易用性印象极为深刻。谢谢 MapForce 让我们的工作更轻松。”

    Michael Elson,CRS Corporation


    图形化的数据映射

    MapForce 界面为数据集成提供了一个图形化的界面,其中包括用于管理、可视化、操作和执行单个映射及复杂映射项目的许多选项。使用设计面板可以图形化地定义映射组件、添加用于数据操作的函数和筛选器,以及拖动连接器以在源格式与目标格式之间进行转换。


图形化的数据映射


    设计面板包括用户友好的特性,帮助您轻松地使用、标识和重新定义哪怕是最复杂的映射。例如,点击一项的名称,就会自动地选择它以连接到其他项。当您将鼠标放置在映射连接的某些部分上时,会出现弹出的提示,在此,您可以查看诸如映射目标项或数据类型之类的附加信息。

    通过点击并拖动到期望的目标,可以轻松地移动连接,并且只需按住 CTRL 键,即可拖动连接来复制连接器(从同一源到另一个目标)。激活自动连接子项图标,会自动连接父项下相同名称的所有子项。

    数据映射可以有多个输入和多个输出, 并组合完全不同的数据类型。

    MapForce 包括一个丰富的数据处理函数库,用于执行集成项目所需的几乎任何必要的数据转换,一个方便的概述窗口让您可视化整个数据映射项目, 并根据需要在特定的区域上放大,当您在设计面板中滚动时,概述窗口指示在映射内的位置。即使是最大的数据映射项目,也能轻松地浏览!


    数据处理函数

    数据映射 MapForce 提供一个可扩展的数据处理和转换函数库,用于根据数据映射项目的需要筛选和操作数据。为了节省时间和利用您已经完成和测试过的工作, 您甚至可以导入现有的数据转换代码或 XSLT 1.0 或2.0 文件,作为函数库使用。MapForce 还包括一个独特的可视化函数生成器,用于定义和重用那些组合多个操作的自定义函数。


数据处理函数


    MapForce 可以处理最先进的转换场景,允许您根据条件、布尔逻辑、字符串操作、数学计算、SQL 和 SQL/XML 语句或任何用户定义的函数来定义规则。您甚至可以使用现有的 Web service 来查找或处理任何映射中的数据。

    MapForce 数据转换:

    ——数据处理函数动态地转换数据

    ——数学计算

    ——布尔、数据、时间、数字或字符串转换

    ——编程字符串和日期时间解析

    ——专用的节点、序列、edifact 和 db 函数

    ——支持筛选器、条件、参数和变量

    ——SQL 或 SQL/XML 的数据库函数

    函数库

    许多内置的函数,诸如 concat、add、multiply 等,支持无限数量的参数,使它易于执行数学操作并组合多个参数。聚合函数允许您对数据组执行计算,包括 count、sum、min、join-string,以及其他。提供转换函数以方便地解析复杂的数据类型。

    核心库中的函数是通用的,不特定于任何输出的类型。使用这些核心函数,只需选择所需的语言,即可创建 XSLT 1.0/2.0、XQuery、Java、C++ 或 C# 数据转换代码。

    中间变量

    中间变量是一种特殊类型的组件,用于存储中间映射结果以进行进一步的处理,并可用于解决各种各样先进的映射问题。中间变量等效于常规的(non-inline)用户定义函数,并且是不带实例文件的结构性组件。

    筛选器和条件

    通过在映射内插入筛选器和条件,您可以根据布尔条件从源中选择数据。

    MapForce 中的 if-else 条件与许多编程语言中的 switch 语句等效,使您能够通过将值与选定的条件相匹配,轻松控制映射项目中的数据流。

    转换参数

    MapForce 支持转换输入参数,允许外部参数影响映射转换。转换输入参数可以传递给 Java、C# 或 C++ 的 MapForce 代码生成器创建的主要映射函数。


    映射输出预览

    MapForce 内置的执行引擎允许您预览 XML、数据库、文本文件、EDI、Excel 和 XBRL 数据映射的程序代码和输出。您可以执行映射转换,然后根据定义的目标格式,立即查看并保存映射的结果,映射将以 XQuery、Java、C++ 或 C# 生成。


映射输出预览


    如果映射的目标是 XML 模式,则输出选项卡显示一个 XML 文件。到文本文件的映射具有 CSV 或文本文件的输出,到 EDI 目标的映射产生 EDIFACT 报文或 X12 事务集,到 Excel 的映射产生 Office Open XML(OOXML)置标,到 XBRL 分类标准的映射产生 XBRL 财务报告。

    当映射到数据库时,输出预览显示将针对数据库执行的 SQL 命令作为映射的结果。MapForce 引擎还允许您实际运行 SQL 脚本来执行转换并对数据库进行更改。

    预览 XSLT 样式表

    MapForce 提供几个有用的特性,以帮助开发 XSLT 1.0/2.0 样式表进行 XML 对 XML 转换。在可视化地设计数据映射时,MapForce 为您在后台生成一个 XSLT 样式表。在任何时候,您都可以通过点击主设计窗口底部的 XSLT 选项卡来预览 XSLT 样式表代码。

    此外,当您将新的 XML 模式、DTD 或 XBRL 分类标准插入到 MapForce 内时,可以选择随之提供一个样例 XML 实例文档。如果选择提供样例数据,则 MapForce 允许您通过点击主设计窗口底部的输出选项卡来轻松地预览样例转换的结果。这有助于确保您的数据映射得到预期的结果。


    交互式数据映射调试器

    MapForce 包括一个革命性的交互式调试器,以帮助进行数据映射设计。调试器允许用户单步执行映射,并看到数据实际地沿着路径一步一步地从源节点流到目标节点。在调试器运行时,自动打开的菜单命令、特殊工具栏和帮助程序窗口都支持 MapForce 调试器,因此,用户可以在执行映射过程中跟踪中间处理操作,并检查数据值。


交互式数据映射调试器


    MapForce 数据映射调试器以前所未有的方式提供对数据集成和 ETL 项目的确切内部工作机制的深入洞察,甚至在成本高昂的映射产品中也不提供这种能力。

    MapForce 调试器支持断点和步进功能,这将是开发人员在调试源代码时所熟悉的功能。断点可以放在任何输入节点或输出节点上,以便在该点暂停映射执行,并且支持条件断点。

    有几个命令允许执行不同颗粒度级别的步进,以手动调试数据映射,或在到达断点后继续执行,从而允许用户查看所需的尽可能多的详细信息。


    MapForce 服务器的执行文件

    在设计和测试 MapForce 映射后,可以由 MapForce 服务器执行它,以实现那些需要重复数据转换的业务流程的自动化。


MapForce 服务器的执行文件


    MapForce 预处理并优化数据映射,将它们存储在 MapForce 服务器执行文件中,由 MapForce 服务器命令行执行,并将它们上载以便在 FlowForce 服务器作业中使用。文件名称可被定义为数据映射输入和输出,或映射中包括的数据库查询,可以用运行时刻的作业参数来替换,以便由 MapForce 服务器执行。


    XML 映射

    MapForce 支持基于 XML 模式或 DTD 内容模型的 XML 映射。要开发 XML 映射, 只需将两个或多个模式文件加载到 MapForce 内,并在源节点与目标节点之间拖动连接线。混合内容支持甚至使您能够映射夹杂着 XML 的文本数据。

    如果没有与 XML 实例文档相关联的模式,则 MapForce 将从 XML 实例文档生成 XML 模式。


XML 映射


    MapForce 支持在多个输入模式和多个输出模式、多个源文件和/或目标文件之间进行高级 XML 转换,或先进的多重数据转换(从模式,到模式,到模式,等等)。

    一旦定义完 XML 映射和数据处理规则,就可以加载源文件,且 MapForce 内置执行引擎将立即将数据转换为新格式。

    MapForce 还自动生成 XSLT 1.0 或 2.0 样式表,用于根据源模式转换多个 XML 文档中的数据,以符合目标 XML 模式。

    除了 XML 映射之外,MapForce 还支持映射 XML、数据库、EDI、XBRL、文本文件、Excel、JSON 和/或 Web service 数据的任何组合,以构建数据集成或 Web service 应用程序。

    支持 XML 通配符

    XML 模式设计中的 元素和 允许将任何新元素或属性置于 XML 实例文档中的相应位置,即使在 XML 模式中未定义该新元素或属性也行。这称为 XML 通配符,它是一种流行的机制,用于允许在许多 XML 模式中进行一定程度的定制,这些模式支持各行各业的行业标准。

    MapForce 支持 和 映射到 XML 或任何其他输出格式的输出。在 XML 映射输入组件中, 或 旁边的新选择按钮打开一个通配符选择对话框。

     元素以及 通常在 XML 模式设计中使用,并且在 MapForce 中的支持已成为频繁的用户请求。

    查看 XML 映射输出

    在设计 XML 映射项目时,内置的 MapForce 引擎允许您通过一次点击来查看和保存自动生成的 XSLT 1.0/2.0 或 XQuery 代码。您还可以点击输出选项卡来查看由 XML 映射生成的实际输出。


    JSON 数据映射

    MapForce 包括支持定义和执行基于 JSON(JavaScript 对象表示法)模型的数据映射。您可以将 JSON 实例或 JSON 模式文件添加为数据映射的源组件或目标组件。MapForce 根据 JSON Draft 04 Schema 读写 JSON 文件。

    JSON5 是一个建议性的 JSON 扩展,旨在使 JSON 代码更易于人类编写和阅读。MapForce 支持 JSON5 作为链接映射中的输入、输出或中间数据映射组件。

    如下所示,以适当的元素语法显示 JSON 组件,并且清晰地指出它们的数据类型。


JSON 数据映射


    可以应用 MapForce 函数库中的数据处理函数来转换 JSON 数据,这与其他组件的使用完全一样。

    JSON 数据映射特性:

    ——支持 JSON 作为源组件或目标组件

    ——支持 JSON5 作为源组件或目标组件

    ——从实例文档生成 JSON 或 JSON5 模式

    ——支持映射 JSON 子类型

    ——支持包含混合项类型的 JSON 数组

    自动生成 JSON 模式

    当您将 JSON文件 或 JSON5 文件添加到映射时,MapForce 自动检测它是模式还是实例文件。对于 JSON 或 JSON5 实例文件,MapForce 提示您浏览一个模式或自动生成一个。MapForce 使用 JSON 或 JSON5 模式来构建组件的结构。

    JSON 或 JSON5 模式可以允许在同一位置出现多个类型。在这种情况下,对于可以在该位置发生的所有基本类型,MapForce 组件显示单独的结构节点。

    MapForce 还支持 JSON 组件中的数组。如果一个数组在 JSON 模式中具有不同类型的项(例如,字符串和数字),则 MapForce 将为每一项类型显示一个“项”节点。当写入 JSON 文件时,这使您可以创建包含不同类型项的数组。


    数据库映射

    MapForce 包括对数据库映射的强大支持,包括在任何数据库数据与 XML、文本文件、EDI、Excel(OOXML)、XBRL、Web service,甚至其他数据库格式之间的映射。

    在设计窗口中加载数据库结构时,MapForce 自动解释数据库模式,让您选择可用的数据库表和视图,并识别表关系。


数据库映射


    一旦加载了数据库映射所需的所有内容模型,只需拖动源结构与目标构造之间的连接线即可完成映射。

    支持的数据库:

    ——Firebird 2.5

    ——IBM DB2 for iSeries v6.1, 7.1

    ——IBM DB2 8, 9.1, 9.5, 9.7, 10.1, 10.5

    ——Informix 11.70

    ——Microsoft Access 2003, 2007, 2010, 2013

    ——Microsoft Azure SQL

    ——Microsoft SQL Server 2005, 2008, 2012, 2014, 2016

    ——MySQL 5, 5.1, 5.5, 5.6, 5.7

    ——Oracle 9i, 10g, 11g, 12c

    ——PostgreSQL 8, 9.0.10, 9.1.6, 9.2.1, 9.4, 9.6

    ——Progress OpenEdge 11.6

    ——SQLite 3.x

    ——Sybase ASE 15, 16

    MapForce 支持所有主流关系型数据库,使您能够在数据库源数据、数据处理函数和筛选器以及各种类型的其他数据结构之间创建图形化的数据库映射设计。

    数据库映射特性:

    ——对所有主流数据库的数据库查询

    ——将数据从任何受支持的数据库类型映射到任何其他数据库

    ——指定数据库键设置

    ——定义数据库表操作

    ——直接查询数据库

    ——在数据库字段中连接到并映射 XML

    ——对数据库输入组件进行排序

    筛选和处理数据库数据

    许多数据库映射都需要基于布尔条件或 SQL 和 SQL/XML 语句来操作源与目标之间的数据。您可能需要执行逻辑比较、数学计算或字符串操作,检查特定值的数据库数据,并对数据进行其他修改。在上面的截图中,数据处理函数显示为连接源数据模型与目标数据模型的连线之间的方框。

    数据处理函数使您能够动态地执行先进的数据库映射,以满足大量实际的转换需求。例如,您可以构造使用 XML 或 EDI 报文的数据库映射,以便基于筛选条件从 XML 或 EDI 元素提取数据库行。

    即时数据库转换

    一旦定义了映射,内置的 MapForce 引擎就允许您通过一次点击来查看和保存结果。

    数据库到 XML 的映射产生 XML 输出文档,数据库到文本文件的映射具有 CSV 或定长文本文件的输出,数据库到 EDI 的映射可以产生 EDIFACT、X12 或 HL7 报文,数据库到 Excel 的映射产生 Office Open XML(OOXML)置标,到 XBRL 的映射产生 XBRL 财务报告。

    到数据库的映射产生 SQL 脚本形式的输出(例如,SELECT、INSERT、UPDATE 和 DELETE语句),它们从 MapForce 内部直接针对目标数据库运行。


    EDI 数据映射

    EDI 标准是电子商务数据交换的主导格式,为组织提供了一种快速、准确的交换交易数据的方法。EDI 的出现早于其他集成业务技术,诸如 ERP、CRM 以及许多其他的供应链支持技术,使数据映射和转换成为任何 EDI 实现的重要组成部分。

    MapForce 是一个图形化 EDI 映射器,它天然地支持当前使用的所有主流业务数据格式,包括 XML、数据库、文本文件、Excel、Web service,以及 EDIFACT、X12、HL7、NCPDP SCRIPT、IDoc 和 PADIS EDI 事务集。


EDI 数据映射


    通过允许您直观地定义在 UN/EDIFACT、ANSI X12、HIPAA X12、Health Level 7(HL7)、NCPDP SCRIPT、SAP IDoc、IATA PADIS 或 TRADACOMS 以及 XML、数据库、文本文件、Excel 和其他 EDI 系统,还有 Web service 操作之间的映射,MapForce 简化了 EDI 数据集成。这使您的组织能够获得以电子方式交换信息的好处,而无需提高应用程序基础架构的成本或的复杂性。

    处理多种 EDI 报文类型

    MapForce 允许您定义单个映射, 以适应包含多种报文类型的 EDI 文件。在数据映射项目的源或目标中,提供对包含多种报文类型的 EDI 文件的支持,为 EDI 映射提供最佳的灵活性。

    报文确认

    在 EDI X12 标准中,997 确认报文转发到达交换的状态——确认事务的接收、事务错误等。

    MapForce 可以很容易地配置来自动创建从您的输入 X12 报文到 997 确认的映射,帮助您在伙伴网络内外定义无缝的交易链接。

    验证 EDI 输出

    MapForce 允许您通过验证所有 EDI 源组件和目标组件以及映射输出来确认来自映射的 EDI 输出的准确性。这有助于确保只处理有效的 EDI 报文。


    文本文件映射

    Altova MapForce 包括独特的 FlexText 实用工具,用于解析和转换文本文件,诸如大型机文本报告、基于文本的日志文件和映射设计中的其他遗留的文本文件类型。使用它的可视化界面,FlexText 允许您中插入现有的文本文件并提取要在 MapForce 映射界面中转换的部分。

    FlexText 产生一个模板,然后将其加载到 MapForce 内,在此,可以将单独的文本节点转换为 XML、数据库、EDI、XBRL、文本文件、Excel、JSON 和/或 Web service 数据的任意组合。通过保存在 FlexText 中创建的配置,可以重用同一模板在多个映射中转换多个文本文件。


文本文件映射


    FlexText 允许您为文本文件转换模板创建规则。当您在 FlexText 界面中打开一个文本文件时,在两个块中显示该文件。根块表示原始文件,而在提取所需数据时,操作块(在其右侧)即时显示文件的数据。

    您所做的每个操作的结果都是即时可见的,因此,您可以立即看到是否取得了预期的结果。

    遗留的文本文件可能在更复杂的文本文件中包含 CSV(以逗号分隔的值)或 FLF(定长字段)格式的有用数据。FlexText 允许您使用 CSV 和 FLF 操作来直接提取此类数据。在应用拆分和其他操作之后,您可以通过配置字段名称、长度等来存储剩余的 CSV 格式 或 FLF 格式的字段。

    提取相关数据

    FlexText 允许您通过使用拆分命令来移除无关的文本、字符和空白,以隔离需要访问的数据。每个拆分都在两个新块中呈现数据:一个包含已拆分的数据, 另一个则显示已转换文件的修改视图。您可以立即看到所执行的每个操作的结果。

    节点、忽略、切换和正则表达式

    FlexText 支持“节点”和“忽略”操作以更灵活地构建信息树。“忽略”操作将一个文本块标记为与转换目的不相关,并指示 MapForce 忽略它。“节点”操作在 MapForce 的信息树中创建一个新节点,以便在需要时可以正确地表示文本数据的层级性。

    通过“切换”操作, 您可以为单个文本块定义多个条件。只有当文本文件中的数据符合定义的条件时,才会将其传递到关联的容器,以便在 MapForce 转换中使用。

    FlexText 也支持正则表达式。例如,输入文件可以是系统生成的报告, 其中位于左边界的数字和字母代码指示记录类型,在此,跟在“O”之后任意五个数字的序列指出一个办公室位置的新部分的开始。


    Excel 映射

    根据 Office Open XML 文件格式规范,MapForce 包括支持基于 Microsoft Excel 2007 和更高版本的电子表格格式的映射数据。MapForce 支持 Excel 电子表格作为映射源或目标,使您能够利用其强大的图形界面将数据映射到 Excel 文件,或从 Excel 文件映射。


Excel 映射


    若要基于现有的电子表格或工作簿开发 Excel 映射,只需使用“文件”菜单命令在 MapForce 中打开源文件,或将文档拖放到设计窗格内。MapForce 将显示文件结构的图形化表示,描述行、列和单元格,以及对数字和名称的引用。此组件包括可点击的图标,其允许您定义和指定可映射的数据。

    此外,MapForce 支持在 Microsoft Office 2013 中引入的可选文件格式 Strick Open XML 电子表格格式(ISO/IEC 29500 Strict)作为数据映射输入组件。

    MapForce 允许您在电子表格中选择并映射每个唯一的数据表,在将 MapForce 之外的复杂 Excel 工作表插入到映射设计内之前,避免对它们进行手动提取、导出或其他预处理。

    一旦定义了映射,内置的 MapForce 引擎就可以通过一次点击来查看和保存结果。到 Excel 的映射产生 Office Open XML(OOXML)置标。


    强大、灵活、经济高效的数据集成工具

    MapForce 为先进的数据映射和转换提供无与伦比的能力和灵活性, 使其成为全球和企业内部数据集成项目的理想工具。您可以轻松地从不同格式的多个文件集成数据。

    通过支持自动化数据集成,MapForce 成为一种理想的中间件产品,用于在任何本地企业、基于 Web 的工作流甚至云体系架构中连接分布式应用程序。


数据集成工具


    可重用的数据映射

    无论是 XML 还是数据库模式、EDI 配置文件,还是 XBRL 分类标准和其他的什么,MapForce 都将基于数据结构来集成数据,而不管内容的特定实例是什么。这意味着您可以在业务数据更改时重用数据映射。

    自动化数据集成

    MapForce 可以生成 MapForce 执行文件以供 MapForce 服务器执行,或者生成 Java、C# 或 C++ 的免版税数据集成代码来自动地重新处理数据映射。这使您可以实现定时的或事件触发的数据集成/迁移操作,以包含在任何报告、电子商务或基于 SOA 的应用程序中。MapForce 数据集成操作还可以通过数据集成 API 或 ActiveX 控件来实现自动化。

    数据操作

    在目标系统使用数据集成项目之前,它通常需要数据操作来转换输入数据。MapForce 提供直观的可视化功能构建器,具有内置库、筛选器和条件的完全可伸缩的数据处理函数,来增强您轻松操作数据和集成不同格式的能力。

    数据映射 Web Service

    MapForce 支持直接从映射内调用 SOAP 和 REST Web service。您可以将 Web service 调用插入到映射内,并提供输入参数和用户名/口令或其他身份验证。

    MapForce 还支持通常在消息体中携带自定义请求或响应结构的通用 HTTP Web service。MapForce 同时支持请求或响应体中的 JSON 或 XML 数据,允许您实际上调用需要或返回 XML 或 JSON 结构的任何 HTTP Web service。

    遗留数据集成

    随着技术的飞速发展,组织往往背负着不再受支持的遗留数据资料库的负担,使得数据难以以其原本格式进行访问。MapForce 提供了独一无二的 FlexText 实用工具,用于解析文本文件输出,以便于可以很容易地将遗留数据与任何其他目标结构集成。

    无需代码编写

    从由过部署到生产工作流的 MapForce 数据映射的图形化设计,可以在不编写任何代码的情况下端到端地实现数据集成。

    大多数企业希望就地利用现有的资产,诸如 SQL 数据库视图和过程、定制的 Excel 电子表格或其他遗留数据。所有这些资产都完全与 MapForce 集成平台兼容。

    成本低收效大

    MapForce 不依赖于装配一组适配器或其他需要额外成本的附加组件。用户可以完全控制所有数据类型的数据集成和转换的设计与实现,包括 XML、数据库、文本文件、EDI、Excel、XBRL 和/或 Web service 数据的任意组合。


原文:MapForce -- Data Mapping, Conversion, and ETL Tool


标签: #医疗信息化

声明:本站内容除标明“原创”、“独家整理”外,均来自于网络公开信息收集,仅供学习使用,本站少数附件需自愿赞助后才可下载,该费用并不是直接用于购买附件,而是作为公益赞助自愿支持本站服务器及网站运维,请您知晓。如涉嫌侵犯您的合法权益,请联系vip@health.net.cn告知我们,我们将在第一时间撤销文章并表达歉意,期待我们共同促进医学行业信息交流和发展,感谢您的支持。 立刻扫码加微信群