我想知道您是否可以给我们发送再现这个工作流程（数亚搏在线据，工作空间）？这将是美好重现此内部的安全，看看我们能做出改进。亚搏在线请与您的感觉将是有益的任何信息来创建在https://www.safe.亚搏在线com/support/的情况下，搜索结果我想通过<一个rel =“用户的” href =“建议的解决方法/用户/ 348 / 1spatialdave.html” NODEID = “348”> @ 1spatialdave 是美好的，应该有所帮助。很遗憾听到您遇到这些问题。
点击
布赖恩
这些问题总是很棘手。我建议在进程中运行一些带有断点的特性，以尝试识别特性的瓶颈所在。显然，如果您能够避免瓶颈，那么您就能够让特性自由地通过流程直接传递给编写人员。正如你所提到的，如果可行的话，你可以拆分进程，在进程1的末尾写入FFS，在进程2中读取FFS，使用一个WorkspaceRunner来链接进程。或者,您可以缓存到磁盘上的所有数据通过因此倾销它从内存部分,记录仪将允许您在“记录”模式,然后取样器样品单触发功能,你进入一个球员回读FFS文件你刚刚写的内容。现在使用FeatureReader和FeatureWriter要简单得多，但我不确定在您的构建中是否有FeatureWriter。我觉得这张可能需要升级到你的经销商那里，或者直接到安全的地方去，作为你的支持票亚搏在线
更新:在Malte提到的服务器上，我们必须完全禁用交换(现在)。我们注意到C:上的空间快用完了，所以增加了两倍。最后我们发现这台机器使用的是50GB的交换空间(服务器有48GB的内存)。表现当然很差。
在禁用交换之后，FME引擎进程表现得更好(性能要好得多)，但是现在当AIXM编写器—收集了所有要编写的特性—开始生成XML文件时，我们遇到内存不足的问题，当然这会导致整个工作失败。:(
所以，要么我们有交换，它似乎被消耗的大小，我们限制它，或(和?)然后，FME引擎有时会失败，因为在最后的步骤外或内存。最糟糕的是，我们看到了FME服务器核心和应用服务器“服务”的挂起和故障，导致它们重新启动和中断运行作业。>
欢迎任何建议。疯狂的想法:有什么方法可以触发FME引擎垃圾收集就在作者开始之前?我敢肯定，这些引擎进程消耗的10-12GB内存中有相当大的一部分不是“活动”数据。>潜在的不那么疯狂的想法:我们应该让我们的工作空间向FFS初始化，然后让另一个工作区执行最后的FFS->AIXM步骤吗?< / p > < p >问好,< / p > < p >哈坎< br > < / p > < p > < / p >
您好。我可以肯定在附和在日志文件中的一个怪胎。我也曾经有过的消息，如：
过程限制是24.00 GB的物理存储器和地址空间开始的8.00 TB时过程使用超过71.99 GB的存储或地址空间停止的8.00 TB释放内存释放内存当过程使用低于53.99 GB的内存和TB 6.00地址空间;...并想知道我的机器只安装了24GB时，FME可能可能使用的内存72GB。
我们的一个开发者告诉我：
有我们使用这些信息三个术语：点击 - 物理内存：内存你的机器有量结果- 存储器：进程正在使用的内存量。这包括由操作系统分页到磁盘在RAM数据和数据，这就是为什么它可以比物理存储器更大的结果， - 地址空间：该方法目前有提供给它的内存量。请求更多的内存可能导致此增加。程序运行的内存时这变得太大。搜索结果，请注意，该过程限制消息指的是“物理存储器”，其比更通用的“记忆”在不同的开始/停止消息。我知道它看起来的误导，但我不想让他们做那些太复杂，他们没有任何意义的消息。总之，调整红线，直至达到启动/停止内存信息如下不应所需的物理内存，而我不知道，我会推荐它。
其实，我真的不知道我会在所有触及红线的设置，至少直到我已经排除了所有其他可能出现的问题。 Can you send me the full log files for a) the workspace run on Desktop, and b) the workspace run on Server w/o any redline alterations? That way I can check to see if there are any other obvious differences. Either post them here or email me (mark.ireland @ safe.com)
The message in Mb not Gb is interesting. I suspect that 8Gb of memory on a server is just not going to cut it to "process relatively large data sets" and "run multiple workspaces in parallel". I mean, there is the operating system to consider and you're running Windows Server which I suspect is a memory hog by itself. I'm running Windows 7 and even with everything except this web browser shut off, the system memory use is over 10Gb. So it might be that the log is correct and FME really does only have a few Mb left to play with. Can you check the Task Manager and see what free memory is actually available?
I hope this helps. In general Desktop and Server are both using the same underlying engine, and given the same parameters on the same system should give pretty much the same results. I assume you are using 64-bit FME on Desktop as well as Server?
Mark Ireland
Product Evangelist
Safe Software
好了，现在我们已经部分解决了问题。
但似乎有一些奇怪的事情发生与引擎内存分配功能。
正如我所展示的，引擎将被允许占用96GB的32GB内存:
2016-08-29 15:46:20| 0.2| 0.0|通知>0 FME配置:进程限制是<强>32.00 GB<强>物理内存和128.00 TB的地址空间< 2016-08-29 15:46:20 >1 0.2 >2 0.0 >3通知>4 FME配置:<强> < /强>开始释放内存时,进程使用<强>超过< /强> <强> 96.00 GB < /强>内存或128.00 TB的地址空间< / p > < p > 2016-08-29 15:46:20 | 0.2 | 0.0 |通知FME配置:|:<强>停止释放< /强>内存当进程使用<强>低于72.00 GB的< /强>内存和96.00 TB的地址空间< / p > < p > < br > 0.08我们已经改变了FME_ENGINE_MEMORY_REDLINE fmeEngineConfig文件。
(我们在这方面有点困难——也因为我们试图通过标题设置参数)。< br > < br >现在我们得到一个更每引擎可用内存分配:< / p > < p > 33通知今天0.0 - 0.2在12:23:01 FME_ENGINE_MEMORY_REDLINE设置为0.08 <强> < /强> < br > 34通知今天0.0 - 0.2在12:23:01 FME配置:过程限制<强> < /强> 32.00 GB的物理内存和128.00 TB的地址空间< br > 35通知今天0.0 - 0.2在12:23:01 FME配置:<强> < /强>开始释放内存时,进程使用<强>超过15.36 GB < /强>内存或20.48 TB的地址空间< br > 36今天通知0.0 - 0.2在12:23:01 FME配置:<强>停止释放< /强>内存当进程使用<强>低于11.52 GB的< /强>内存和15.36 TB的地址空间< br > < br >我们可能不得不进一步调整这个参数允许多个engiens同时运行。
我也在考虑使用作业路由和作业跟踪来配置“高内存”引擎和一些低内存引擎。< br > < br >我们仍困惑于为什么我们会看到数字MB (GB)的顺序与标准FME_ENGINE_MEMORY_REDLINE 0.5在其他服务器:< br > 33通知今天0.0 - 0.2在10:45:23 FME配置:过程限制<强> < /强> 8.00 GB的物理内存和128.00 TB的地址空间< / p > < p > 34通知今天0.0 - 0.2在10:45:23 FME配置:<强> < /强>开始释放内存时,进程使用< /强> <强>超过39.74 MB的内存地址空间或128.00 TB的< / p > < p > 35通知今天0.0 - 0.2在10:45:23 FME配置:<强>停止释放< /强>内存当进程使用< /强> <强>低于38.15 MB的内存和96.00 TB的地址空间< br > < br >是一个潜在的缺陷我们看到或这是预期行为吗? < / p >
Hi @malteohlers—这是一个很大的主题，毫无疑问会产生很多响应。如果我是调试这我先确保我很高兴FME桌面的设置工作空间,关键我是想确保是峰值内存使用尽可能低,我从未看到日志中声明“优化资源使用”(这是永远不会好,因为这意味着你分页内存)。< / p > < p >有很多建议:< / p > < p > <目标= "平等" href = " https://knowledge.safe.com/articles/579/亚搏在线performance-tuning-fme.html?smartspace=performance-tuning_2 " > https://knowledge.safe.com/articles/579/performance-tuning-fme.html?smartspace=performance-tuning_2 < / > < / p > < p >…和一些我们这里的网络研讨会:< / p > < p > <目标= "平等" href = " https://youtu.be/JTIevi4tHhI?list=PLPTavfHRhhqt2pBXYXF4dUgnz0t_008Vs " > https://youtu.be/JTIevi4tHhI?列表= plptavfhrhhqt2pbxyxf4dugnz08vs -
< / b >https://www.youtube.com/watch?调整FME以实现快速数据处理一旦您的工作空间尽可能紧凑，请在安装了FME服务器的同一台机器上的FME桌面测试该进程。这将包括与机器设置相关的测试中的环境问题。如果你然后提升到FME服务器的进程，然后得到一个不同的结果，有希望看到的东西是罪魁祸首。>
就FME服务器安全软件而言，2015年他们使用的第三方内存管理库确实存在一些问题，迫使他们对64位FME设置了内存亚搏在线上限。不过，现在这个问题已经基本解决了，不过我认为内存上限仍然存在，尽管相当高。希望外管局的人能在这里澄清这一点。亚搏在线< / p > < p >我相信FME_ENGINE_MEMORY_REDLINE参数允许您删除,帽,解释在< / p > < p > <目标= "平等" href = " http://fmepedia.safe.com/articles/How_To/How-to-control-FME-Serve亚搏在线r-Engine-Memory-usage " > http://fmepedia.safe.com/articles/How_To/How-to-control-FME-Server-Engine-Memory-usage < / > < br > < / p > < p >安全曾告诉我: "Increasing the memory limit should give you better performance if the resource manager never kicks in, but will give you significantly worse performance if it does kick in. If you want to go all out, you can set FME_ENGINE_MEMORY_REDLINE to 1.0 and the resource manager will never kick in and you'll likely get the best performance, but you may run out of memory."