主题“效率”中的问题 https://knowledge.亚搏在线safe.com/questions/topics/single/39101.html网站 关于“效率”主题的最新问题 性能FME服务器:Linux与Windows https://knowledge.亚搏在线safe.com/questions/69175/performance-fme-server-linux-vs-windows.html

你好,

我有一个客户端,用于Linux和Windows。他问我,对于FME服务器,Linux和Windows之间是否存在效率差异。你有这方面的经验吗?

发动机 效率 FRI,2018年4月27日13:02:19格林尼治标准时间
属性垃圾-拆分多个属性 https://knowledge.亚搏在线safe.com/idea/65505/attributesplitd-split-multiple-attributes.html

如果有多个属性要以相同的方式拆分,例如通过管道或空间,在attributesSplitter中有一个选项可以这样做,而不必一个接一个地插入多个属性拆分器。您将指定分隔符,然后在一个单独的部分中指定所有属性-您可以切换要拆分的属性,并为其中的每个属性提供列表名称,然后。

变压器 分裂 效率 分裂 属性分裂 清华大学,2018年3月8日03:08:47格林威治标准时间 克里斯堡
FME云:如何读取FME云度量 https://knowledge.亚搏在线safe.com/articles/65206/fme-cloud-how-to-read-the-fme-cloud-metrics.html网站

FME云度量简介

FME云提供了一套很好的工具,允许用户根据可能影响FME云实例正常运行时间和性能的特定条件轻松设置警报。但在我们能做到之前创建警报配置通知 我们需要了解警报所基于的指标。当创建警报或在实例页上的监视选项卡下选择实例时,这些指标可见。

内存使用

FME服务器的内存消耗很大程度上取决于底层工作空间和使用的变压器。内存使用度量是查看FME云实例是否有问题的第一个度量。内存不足是导致失效的FME云实例最常见的原因之一。某些作业可能会突然失败,日志文件可能没有您要查找的信息。该指标还可以帮助调查作业失败情况。在查看内存使用情况时要记住的一点是,当内存不足时,可能还需要检查临时磁盘使用情况。当实例内存不足时,一些转换将写入临时磁盘。

主磁盘使用率

主磁盘包含FME服务器安装,发布到FME服务器和PostgreSQL数据库的数据。我们绝对建议密切关注这个指标,并针对主要磁盘使用情况设置警报。当主磁盘已满时,即使在实例重新启动之后,Web应用程序服务器也可能会关闭并无法正确启动。通常恢复的唯一方法是回滚到以前的备份。这就是为什么主磁盘使用率警报(超过10分钟的90%使用率)是一个非常重要的警报,并且默认情况下为所有实例启用。另一个防止磁盘空间耗尽的非常有用的工具是FME服务器系统清理.

临时磁盘使用

此磁盘映射到FME服务器上的临时资源文件夹。当实例暂停且未备份时,它将被擦除。当实例内存不足并开始写出临时数据时,这种临时磁盘使用率也会增加。当临时磁盘使用中出现异常模式时,建议始终检查内存使用情况。一定要检查这个关于临时磁盘的文章.

FME服务器引擎计数

可以通过FME服务器的Web用户界面设置FME服务器引擎计数。比最初设置的发动机计数高可能有不同的原因。根据您的工作流程,亚搏在线使用fmeserverjobsubmitter可以通过作业启动其他引擎。如果出现更高数量的引擎,那么您将在度量中看到,可能有问题。如果有发动机启动和不再关闭的模式,请特别注意。你需要调查这个问题。如果需要恒定的引擎计数,设置警报以在指标更改时立即通知非常有用。

网络吞吐量

网络吞吐量度量允许您以每秒千字节为单位监视FME云实例的输入和输出。如果您在FME上实现了一个允许客户上传和下载数据的解决方案,这对于检测任何异常行为都非常有用。

响应时间

该指标指向FME服务器健康检查页面。较高的数字可能表示服务器负载过重,对请求的响应速度比平时慢。如果您在10分钟或更长时间内遇到超过500 ms的响应时间,您应该查看实例并检查其他指标,如服务器负载或内存,以查看实例是否在挣扎。

服务器负载

高服务器负载通常与高内存利用率结合在一起。也,你运行的引擎越多,服务器负载越高。要正确解释服务器负载并为警报设置足够的阈值,了解服务器负载度量及其对FME云实例核心数量的影响是很重要的。1.0的负载意味着1个核心的100%利用率。我们的FME Cloud Starter实例有两个核心,因此负载为2.0表示这两个核心得到了充分利用。因此,假设您最近在标准大小的实例(4核和16 GB RAM)上增加了引擎,并希望确保您的FME云实例能够处理它。在这种情况下,应将警报设置为当负载超过2.8时触发。相当于4核70%的利用率,超过30分钟。

fMcEng音 效率 FME云 监测 韵律学 FRI,2018年3月2日19:44:15格林尼治标准时间 格哈拉德保险箱亚搏在线
FME云:如何用临时磁盘加速工作流程亚搏在线 https://knowledge.亚搏在线safe.com/articles/65205/fme-cloud-how-to-speed-up-your-亚搏在线workflows-with-the.html

2017年,我们推出了下一代FME云实例随来nginx反向代理配置,更多可用区域,新的实例类型和临时磁盘。

为了充分利用临时磁盘的功能,我们需要研究并理解3个不同的概念或机制:

  1. 哪些数据应转到临时磁盘
  2. FME何时使用临时磁盘?
  3. 临时磁盘的大小和性能之间的关系

在理解了这三个方面的含义和影响之后,我们将能够利用FME云上的临时磁盘来提高我们的工作流程的性能。亚搏在线

哪些数据应转到临时磁盘

在主磁盘上,我们存储了FME服务器安装和FME服务器共享的资源,只有一个例外,临时文件夹。FME服务器资源中的temp文件夹是到FME云实例的临时磁盘的资源连接。

顾名思义,temp文件夹只能用于不需要在FME云实例上持久化的数据。不需要持久化的数据通常是在某个工作区中处理的上载用户数据,您可以从云资源(如AWS S3)下载数据以在FME云上进行处理,而在转换过程中,FME需要将数据写入磁盘(我们将很快对此进行详细了解)。这些数据应该转到临时磁盘而不是主磁盘的原因有两个:

1。稳定性:当主磁盘已满时,即使在实例重新启动之后,Web应用程序服务器也可能会关闭并无法正确启动。通常恢复的唯一方法是回滚到以前的备份。如果我们不存储难以控制和估计的数据,如用户数据或临时FME输出,就可以避免这种风险。在主磁盘上。

2。灵活性:每次重新启动FME云实例后,将清除临时磁盘。这允许我们以比主磁盘更灵活的方式调整临时磁盘的大小。主磁盘的大小只能增加,而临时磁盘的大小可以随时根据您的要求进行增减。

三。可利用性:因为每次重新启动FME云实例时都会清除临时磁盘,确保足够的磁盘空间可用的开销明显较低,因为您可以轻松地清除整个磁盘,例如在周末计划重新启动。

4。负担能力:临时磁盘不包含在FME云备份中,因此您可以通过将将来不需要的数据存储在临时磁盘上,显著降低备份成本。

FME何时使用临时磁盘?

许多与FME的转换需要将数据写入磁盘以供将来处理。最常见的原因之一是内存不足,FME服务器试图优化内存。有些人可能记得几年前,日志文件中的一条消息就意味着工作区基本上已经失败了,即使它仍在尝试:

资源管理器:优化内存使用。请等待…

但从那以后我们走了很长的路。我们的开发人员对内存利用率进行了相当大的优化,而且快速SSD磁盘的价格也提高了,这使得这个场景不再像以前那样毫无希望了。

内存密集型转换的常见疑点是带有合并或覆盖后缀的变形金刚(例如FeatureMerge或PointOnAreaOverlayer)。点云相关变压器需要为排序或分组目的“保留特征”的变压器。

磁盘大小与性能的关系

FME云运行在AWS EC2实例上,并使用AWS通用SSD(GP2)卷。要了解这些卷的两个重要细节是I/O信用和突发性能。一般来说,我们可以说,磁盘越大,每秒的最小输入/输出操作(IOPS)就越高。

此外,对于基准性能,AWS GP2卷小于1000 GB,还能够在信用系统的基础上实现3000 IOPS的性能突发,这同样基于磁盘的大小:磁盘越大,最大突发性能持续时间越长。有关awss gp2卷性能的所有详细信息,请确保查看此AWS日志:

了解突发事件与Amazon RDS和GP2的基本性能

结论

简单来说,这意味着我们的临时磁盘越大,我们对它的读写速度就越快。现在我们知道,FME在转换期间使用临时磁盘来写入我们的临时数据,并且我们更喜欢将来自用户或云服务的输入数据存储在临时磁盘上,很容易理解,根据我们的需要调整磁盘大小的能力不仅是一种增加存储空间的工具,也是一种提高性能的好方法。

有关如何调整临时磁盘大小的详细信息,请参阅我们的文档和教程:

文档:调整实例大小
开始使用FME云:实例大小调整

性能 内存消耗 fMcEng音 效率 自由磁盘空间 临时磁盘 FRI,2018年3月2日19:42:28格林尼治标准时间 格哈拉德保险箱亚搏在线
帮助创建一个工作流,在数百个亚搏在线点之间创建高效无人机飞行路线的拆分kml文件,但避免多边形 https://knowledge.亚搏在线safe.com/questions/48032/help-create-a-亚搏在线workflow-that-creates-split-kml-file.html

大家好,Reddit上有人用下面的查询指出了FME的方向。有人能帮我在FME桌面上通过工作流程实现多个KML文件的输出吗?亚搏在线

我得到了一个太阳能农场的位置,可以带着我的无人机和一个热照相机飞过去。太阳能发电场的CAD图纸已被地理参考并切割成瓷砖层:http://above surveying.s3-website-eu-west-1.amazonaws.com/spriggs%20farm%20v2_thaxted_cad/z/x/y.png

我在iPad上有一个应用程序,它控制着无人驾驶飞机,将它指向北方,作为一个不断前进的方向,从太阳能电池板的一端飞到另一端。这一切都是通过上传一个kml文件到应用程序来实现的。目前,我手动创建kml文件,其中linestring坐标限制为1.80公里或99个航路点(以先到者为准)。这将是非常耗时的。所以…

我已经创建了三个不同的KML文件,这些文件是附加的:

  • 发射地点。这些将是指定安全发射的太阳能农场周围的不同位置。亚搏在线
  • 障碍。这些都是电力线,高大的树木,建筑,风力涡轮机,等。这将作为多边形(形状)写入kml文件。
  • 航路点。这些将是一排太阳能电池板的每一端,沿一排面板传递的起点和终点。

我已经为上面的spriggs位置创建了这些文件进行测试。

是否有一种方法让FME消化所有这些信息,并在不超过距离和航路点限制的所有点之间创建最有效的路线,或者,飞越障碍物?

我正在寻找的输出是多个KML文件,涵盖整个太阳能农场的飞行。每个文件都是太阳能农场或区域的一部分,随你怎么说。必须是KML,因为这是iPad应用程序为无人机所接受的。

我可以看到一个问题,即所给出的太阳能农场例子中,有一些行尾非常靠近其他行尾,它们之间有一个树篱行。因此,创建输出的工作流是亚搏在线否会认为飞越树篱是正确的测量区域,或者它会知道另一端的排距远得多吗?还是我要否定这个问题,把树篱作为障碍物挡在外面,即使它在技术上足够低,可以飞过去?

路线为东/西和西/东航路点,然后向北/南或向南/北行驶,到达下一个东/西/东面板行。整个目的是使输出比我可以手动创建的更高效,并且加快进程。我猜我输入的数据必须非常准确。

此外,我需要在一个表中列出这些部分/区域中的每一个,指定它们使用的启动位置,它们的总距离(以千米或米为单位)以及飞行中有多少个航路点。距离和航路点计数,包括作为航路点的发射和着陆以及与该位置之间的距离。这是因为很重要的一点是,由于电池续航时间不长,飞行不能超过设定的距离参数。

关于如何实现这个问题有什么想法吗?

无人机 效率 路线 无人机 规划 周一,2017年7月17日格林尼治标准时间15:00:30 加里莫罗
右击Inspector转换为Writer https://knowledge.亚搏在线safe.com/idea/39787/right-click-on-inspector-to-convert-to-writer.html

在开发工作空间时,您经常会发现自己使用检查器来检查输出数据。当你完成了工作空间的开发之后,如果你能用鼠标右键点击审查员并把它转换成一个作家,这不是很好吗?

作家 检查员 输出 效率 保存时间 FRI,2017年2月10日08:49:48格林尼治标准时间 亨利克索伦
加速工作区运行程序 https://knowledge.亚搏在线safe.com/questions/39103/speeding-up-a-workspace-runner.html网站

嗨,各位,

这是我在这里的第一篇文章,如果这是一个基本问题,请道歉。我有一个关于我正在使用的工作区运行程序操作的快速介绍。我有一个项目是有意义的,并且在工作,但我正在努力使它更有效率。

它需要2个文件,工作区运行程序传递文件A,工作区运行并将中的变量与另一个静态文件匹配,文件B然后将结果文件输出到文件C中。这一切都是有道理的。它工作得很好。

然而,如果我能读一次文件B,这将是很好的,因为与每次WorkSpaceRunner触发一个进程相反。它是一个静态文件,相当大,我有大约17000多个文件要处理,在文件B中加载每一个都是一个巨大的消耗时间。

是否可以为工作区运行程序“预加载”文件?我到处寻找答案,但没有看到任何能导致答案的东西。



工作空间器 效率 速度 清华大学,2017年1月26日16:42:35格林尼治标准时间 奥萨汉