西班牙
斯潘4
查看AttributeValidator如何将许多属性验证任务放在一个保护伞下。它的作用是确保您的属性数据将加载到目标格式数据模型中。
attributevalidatorexample2018-begin.fmwt(正在启动工作区)
attributevalidatorexample2018.fmwt(已完成的工作区)
attributevalidatorexample2018-pivot.fmwt(已完成的工作区)
要跟随视频,请下载并打开attributevalidatorexample-begin.fmwt。
属性验证是质量数据的基石。任何软件都可以充当放大器。在FME的例子中,如果您将低质量的数据分发给广泛的用户或格式,那么您就放大了低质量的数据问题。如果在将数据加载到数据存储库之前对其进行验证,则可以放大单一真理来源的好处。
fme始终能够使用诸如tester、attirbutecreator(带条件值)、joiner(使用验证查找表)等转换器来验证数据属性。但这是一个有点乏味和特别。fme1016引入了一个新的转换器attributevalidator,它将许多属性验证任务放在一个伞下,就像AttributeManager合并许多属性处理任务。
attributevalidator可以与geometryvalidator结合使用,以确保加载之前所有数据都符合目标数据模型,从而减少可能因数据质量问题而被拒绝的功能的数量。
attributevalidator的作用是确保将属性数据加载到目标格式数据模型中。
AttributeValidator处理的一些验证运算符包括:
检查AttributeValidator验证操作员完整列表的用户文档
我们将处理一些手机信号数据,并验证它是否可以加载到一个简单的数据库中,并生成一个验证报告作为csv文件。
以下是源数据:
使用attributevalidator,我们将验证以下属性:
打开附加的FME工作区模板。它从csv文件中读取并写出两个验证报告。工作区已完成并已注释。
以下介绍了工作区的一些关键方面:
AttributeValidator:显然是这个工作区的关键部分。验证测试的配置如AttributeValidator注释所示,如下所示:
大多数测试都是不言而喻的。
语法为“[”表示包含(大于或等于),“(”表示排除(大于)。所以[0,10]的意思是“大于等于0小于10”。同一个sytax可以与in运算符一起用于设置范围。
attributevalidator针对所有测试进行验证,因此在此示例中,num_measures必须同时作为整数和在[0,10]范围内进行验证。
如果特征上的所有属性都通过了验证测试,则通过通过了港口。如果任何测试失败,则通过失败的港口。
如果测试失败,AttributeValidator将向功能添加两个属性:
在本例中,其中一个功能无法通过三个测试,因此添加到该功能的失败消息为:
错误属性 | 错误信息 |
_fme_validation_message |
属性“CodePrefix”,值为“ABE”失败检查匹配正则表达式“[ABCD] {3}” |
_fme_validation_message_list {0} |
属性“CodePrefix”,值为“ABE”失败检查匹配正则表达式“[ABCD] {3}” |
_fme_validation_message_list {1} |
属性“num_measures”具有值“12”失败检查在范围“[0,10]” |
_fme_validation_message_list {1} |
属性 'CodePrefix',值为 'ABE',无法为您在 'ABC,ABD,TXU,TXV' |
一旦您配置了AttributeValidator,您就可以配置工作空间来生成验证报告或统计信息。参考工作区的书签:
数据验证报告:此书签中的转换器将创建一个列表,列出所有错误消息并将其写入CSV文件。如果有多个错误消息(如上所述),那么list剥ler将为每个消息将该特性分解为一个特性(为上面所示的错误创建三条记录)。
验证数据:此书签使用StatisticsCalculator。ISO19000标准讨论数据集的数据质量。这个书签演示了如何配置FME以符合ISO19114,其中标准讨论了如何使用数据质量测试通过或失败的数据集,基于不同的数据质量度量,如:
在本例中,我们计算的是失败的百分比。
属性可以与GeometryValidator提供空间和非空间数据的完整验证。您可以将AttirbuteValidator与FeatureWriter结合使用。如果数据验证失败,则有机会在数据集不符合设置的通过标准时回滚数据加载。通常,您的工作空间中的每个特性类型都有一个AttributeValidator。
运行工作区并检查结果。上面显示了AttributeValidator失败端口的输出。工作区的输出是两个CSV文件:
对于创建更全面的数据质量报告,使用FME Excel writer是一个不错的选择。
与GeometryValidator一样,AttributeValidator一次验证一个特性,并验证每个特性的属性。AttributeValidator不检查特性之间的关系。
目前,AttributeValidator不验证日期字段。可以使用。来验证日期DataTimeConverter变压器。
第二个示例工作区—AttributeValidatorExample_pivot。介绍了一种可选的报告格式。这个工作空间以错误报告为中心,因此每个特性都有一个所有属性错误的摘要(为清晰起见,有些列被隐藏了):
@markat亚搏在线safe:该AttributeValidator现在似乎能够验证日期和日期时间值 - FME 2019
另外,我怎么会检查GUID值,使用验证规则(含正则表达式)可能?
@samisnunu是的 - 我们确实添加了DAT /时间验证。它验证标准FME日期/时间格式。
是 - 使用正则表达式匹配UUID。有各种正则表达式位点UUID很多想法匹配模式
?2019安全亚搏在线软件公司|合法的