科学网 › 标签 › 数据工程

标签: 数据工程

相关帖子	版块	作者	回复/查看	最后发表

没有相关内容

相关日志

我们在做什么？: purewater 2020-5-9 21:56; 1、水处理智能化技术 2、污水处理精细化运行管理系列数字化产品厂有看水狗，环保不用愁！其它信息正在输入 3、代表作 1. Z.-H. Li, Y. Guo, Z.-Y. Hang, T.-Y. Zhang, H.-Q. Yu, Simultaneous evaluation of bioactivity and settleability of activated sludge using fractal dimension as an intermediate variable. Water Research 178 , 115834 (2020). 2. Z.-H. Li, Z.-Y. Hang, M. Lu, T.-Y. Zhang, H.-Q. Yu, Difference of respiration-based approaches for quantifying heterotrophic biomass in activated sludge of biological wastewater treatment plants. Science of The Total Environment 664 , 45-52 (2019). 3. Z.-H. Li et al. , Evaluation of robustness of activated sludge using calcium-induced enhancement of respiration. Bioresource technology 253 , 55-63 (2018). 4. Z.-H. Li, Y.-M. Zhu, C.-J. Yang, T.-Y. Zhang, H.-Q. Yu, A simple respirogram-based approach for the management of effluent from an activated sludge system. Bioresource technology 261 , 412-419 (2018). 5. Z.-H. Li, Z.-B. Ma, H.-Q. Yu, Respiration adaptation of activated sludge under dissolved oxygen and hypochlorite stressed conditions. Bioresource technology 248 , 171-178 (2018). 4、欢迎博士生、博后加入！ http://talent.sciencenet.cn/index.php?s=/Info/index/id/18916; 个人分类: 学术教育|5075 次阅读|0 个评论

关于MTP的问题（8）——输入和输出GDP32的avg文件: 陈小斌 2013-12-26 23:57; GDP32是美国Zonge公司出产的一种主流的工程电磁探测设备。主配GDP32设备一同销售的数据解释软件是SCS2D软件。如果单纯从二维反演算法的角度看，此软件还是不错的，反演结果比较稳定可靠，和著名的二维反演算法程序NLCG、OCCAM有得一拼。然而，SCS2D主要是个反演算法软件，其数据处理和管理的功能很弱，而且，其所要求的数据格式比较特殊，与其他设备的数据交互性较差。基于很多用户的需求，从MTP5.0版本开始，支持GDP32系统的avg格式的读取和输出。这意味着，在MTP中，不仅可以导入GDP32系统的数据进行处理和反演解释，还可以从MTP中导出avg数据文件，供SCS2D反演使用，以便进行结果对比分析，例如，可以将07数据、V8数据、EH4数据等从MTP中导出为avg格式，在SCS2D中进行反演。此时，MTP俨然成了一个数据交换软件，架起了不同观测设备的数据和软件之间的沟通桥梁。在GDP32系统中，avg格式的数据文件好像有两种。一种是以接收点为数据单元聚集成簇的，包含发射、接收装置参数、阻抗等数据，如下图所示。这种数据格式，目前MTP尚不支持。（MTP不支持这种类型的avg格式文件，也就是包含阻抗数据的avg文件。）如果误将这类文件导入MTP，将会出现以下错误提示，这是一些用户曾经向我询问过的。 MTP目前支持的avg文件格式如下图。主要导入其中的视电阻率和相位数据，供后续的数据处理和反演解释使用。这种类型的数据文件也有三种，一种是以下的ExHY，亦即TM模式数据；一种是EyHx数据，即TE模式数据；还有一种是ExHy、EyHx数据，即TM+TE模式数据。前面两种属于标量数据，最后这种是张量数据。这三种数据格式，MTP都支持读入。特别需要指出的是，在GDP32观测系统的坐标框架中，X方向为测线展布方向，Y方向为测线法线方向，故其ExHy对应于TM模式，而EyHx对应TE模式，这一点是和MTP完全不同的，千万千万不要弄错了。以上数据文件中，一般情况下，像电流强度（Amps）、电场幅度(Emag)、电场相位（Ephz）、磁场幅度(Hmag)、磁场相位（Hphz）对于我们的数据处理和反演解释没有作用，对于SCS2d的二维反演也不起任何作用，因此，在输出生成文件时，这些量值可以不要。但按照avg数据格式的要求，这些不要的数据需要用*填充，以使得整个数据文件的列所对应的物理量是固定的。这时，avg数据文件格式如下图所示（这实际上是MTP导出的avg数据文件）。这种情况下，MTP也是可以读入的。实际上对于MTP而言，这些*的列全都没有，只剩下实用的视电阻率、相位及其误差数据，也是可以顺利导入的。好了，明白了MTP中avg数据文件的格式，后续的操作非常简单，跟V8系统的SEC文件的导入完全类似。首先，在MTP中创建一个缺省的数据工程，然后，左键选中所生成的测线，右击弹出菜单中：输入输出=打开GDP32数据（avg文件），如下图所示：然后弹出数据信息补充窗口，如下图所示：填入相关信息后，点击确定，出现以下文件打开对话框，找到需要导入的avg文件，打开，avg数据就已经导入到MTP中。由于avg数据格式中，没有测站坐标，因此需要额外导入。准备好一个文本文件，按照与测线相同的测点顺序成行排列，数据中第一列是南北向坐标（或纬度），第二列是东西向坐标（或经度），第三列为海拔高度。然后，按照下图所示的方式将坐标数据载入进来。特别要注意的是，测点坐标的顺序和MTP中的测点排序一定要一一对应，千万不要搞错了，否则就可能出现张冠李戴的现象，造成不正确的反演结果。上图中可以看到，MTP中存在好几种坐标数据的导入方式。对于较小区域的CSAMT探测而言，一般是直接载入直角坐标数据。点击“输入直角坐标数据（Xns,Yew,Elev)菜单以后，出现以下行、列选择对话框：在上述对话框中，首先找到对应的坐标数据文件，通过调整”数据起始行“和”数据所在列“的值，设置数据读入的行列位置方案，确定后坐标数据就会顺利导入进来。对于CSAMT而言，很多时候，测点间距固定为一个常数，比如50米。这个时候，可以不用导入每个测点的坐标值，通过直接赋剖面距的方式，给每个测点设定一个剖面坐标（剖面距），在此基础上，也可以进行进一步二维反演和剖面成图。但是，为了数据集的完整性，建议最好导入每个测点的实测坐标值。在MTP中，按照如下方式设定测点剖面距。如下图所示，在测线弹出菜单中点击：设置=设置测点名称和剖面距：在弹出的操作窗体中，方式选择选中最后一项”设置测点剖面距“，如下图所示：然后设置首测点位置和测点间距，点击”执行修改设置“，如下图所示：如果有些测点之间的测点距离不一样，可以通过调整起始测点和终止测点来设定数据操作范围。如果觉得修改后测点剖面距（栅格表中的第4列）准确无误了，点击”修改结果存入测线“按钮，则栅格的第4列数据将被存入到测线中，同时显示在第3列”当前测点剖面距“中，替换原有的剖面距数据。这个过程的结果见下图：如果认为准确无误了，点击”全部设置完成“，返回到主界面中。至此，我们就在建立起了一个完整的基于GDP32数据的MTP数据工程。剩下的工作，就是利用MTP强大的数据处理、管理和反演解释功能，自由自在的进行GDP32的数据处理了。如果我们需要将MTP数据工程导出为avg数据文件，以便利用SCS2d数据进行反演计算，这个操作就非常简单。在测线的右键弹出菜单中点击，输入输出=输出为GDP32格式（avg文件），见下图：则弹出如下的数据极化模式选择对话框。这里我们选择TE、TM数据都输出的方式，同时设置点距统一为100，XMTR缺省为1，见下图：确定后，弹出数据保存对话框，在其中选择要保存的数据文件名称和子目录进行保存：最终从MTP中导出的avg文件如下图所示，注意其中最后一列增加了测点的剖面距离。由于原始数据是标量，故而TE、TM模式的视电阻率和相位数据相同。利用这个文件，就可以直接利用SCS2D软件进行二维反演了。; 个人分类: Pioneer|7499 次阅读|0 个评论

关于MTP的问题（7）——导入V8系统的SEC文件数据: 陈小斌 2013-12-26 00:10; 对于GMS07系统而言，由于其所得的数据都是张量，输出的谱文件或者阻抗文件与标准的MT没有差异，故而MTP对GMS07的支持非常完善。可以直接打开EDI谱文件、EDI阻抗文件，这个过程与标准MT没有差异，这里不再另行介绍。对于V8系统而言，可以同时观测MT、AMT、CSAMT数据。对于MT和AMT，最后得到的也是标准EDI数据，因而在此也不再详细论述。这里主要介绍，如何利用MTP处理v8系统的CSAMT观测数据。正如前述，所有频率电磁测深的数据处理与反演大同小异，MTP为此提供了异常强大的功能。只要建立起了MTP数据工程，其他的数据处理和反演解释操作就可以在MTP中自由自在地进行。因此，我在这里重点介绍如何利用V8系统的观测数据建立起MTP的数据工程文件系统。在MTP中，目前支持的是V8观测系统输出的SEC文件，其文件格式如下：这个文件中装载的是一整条测线的数据。其中，第一列是北（N）方向坐标，第二列是东（E）方向坐标，第三列是频率，第4列、第5列分别是视电阻率和相位数据。这个文件由V8系统的数据预处理软件CMTPro生成。比较遗憾的是，SEC文件中，目前还不包括视电阻率和阻抗相位的观测误差。因而在利用SEC文件数据进行反演时，不能利用数据的观测误差进行拟合权值的控制。在MTP中，只有一种方式可以导入SEC文件，即利用测线的右键弹出菜单。首先，启动MTP以后，需要新建一个缺省数据工程。如下图所示：左键单击选中测线Line0，右键单击，在弹出菜单中，按如下方式进入菜单项：输入输出=打开V8CSAMT数据（SEC文件），如下图所示：点击“打开V8CSAMT数据（SEC文件）”菜单项，弹出如下数据信息对话框。此对话框对后续操作的结果并无影响，只是为了让用户对观测数据的一些信息进行补充说明。其中，很多信息项为MT所有的，CSAMT中并不需要出现，如参考站之类的信息，用户可以忽略这些信息。这里要操作的，是在数据来源中，选中“实测”一项就可以了。这个信息的补充说明，是为了让其他的用户明白，这套数据是野外观测数据，而不是正演数据。点击“确定”，弹出“打开文件”对话框：在其中找到对应的SEC文件点击“打开”，观测数据顺利导入MTP，如下图所示：需要注意，上图中的点位图有些凌乱。这是因为，在MTP中，缺省的坐标系是经纬度坐标系。而SEC文件数据是直角坐标系下的，没有经纬度信息，因此，图中的点位分布位置是随机生成的。这时，只需点击工具栏里的斜向双箭头按钮，将坐标系切换到直角坐标系下就可以了：至此，利用V8系统CSAMT的SCE文件建立起了一个MTP数据工程。如果还有其他测线数据需要导入，那就在这个工程新建一条测线，然后重复上述的操作过程进行导入。数据工程建立以后，接着的第一步是对测点数据进行拟合，将离散的测点拟合成一条可用于二维反演、绘制断面图的观测剖面。这时点击主菜单：测点位置处理=拟合测点位置，如下图所示：在拟合测点位置以后，可以点击主菜单中的“显示拟合测线”（见上图）进行测线查看，如下图中的红色直线。查看完毕后，记得将其释放。因为在测线很多的时候，留着这个拟合测线没什么用，徒耗内存资源。在测点位置拟合完毕后，一般的数据工程还需要进行测点排序操作。但对于V8系统的SEC文件而言，测点排序本来就是已经排好的，这一步可以省略。余下的工作，就是利用MTP强大的数据处理、管理和反演解释功能，自由地进行相关的操作了！; 个人分类: Pioneer|6743 次阅读|0 个评论

关于MTP的问题（6）——利用EH4谱文件建立MTP数据工程: 陈小斌 2013-12-24 02:50; 自MT-Pioneer升级为5.0版本以来，不仅支持原有的德国张量可控源(TCSMT)GMS-07、加拿大V8两大工程界主流的电磁探测系统，还开始支持另外两大主流工程电磁探测系统：EH4和GDP32的数据处理和管理。由于我的时间很紧，一直没有做更为深入的说明。免不了的，有很多用户来咨询这些新功能的使用问题。我希望有时间能够一项一项地做一个较为详细的说明，最后集成到总的说明书里面去。确实有很多用户不知道如何使用MTP处理EH4数据。QQ群里还有很多朋友不知道MTP已经能完整地支持EH4数据处理、管理和反演解释。今天，先对这个问题做一个较为详细地说明。 EH4属于AMT的一种，只是高频部分比传统的AMT的频率更高一些,同时增加了高频场源信号补偿功能。因此，其数据处理与反演解释，完全是AMT/MT一样。只要能够将数据导入到MTP，剩下的一切就是利用MTP强大地张量数据处理和解释功能，自由地进行操作了。因此，主要瓶颈在于如何利用EH4数据建立起MTP数据工程。 EH4有一套独特的数据文件系统。与一般格式不同，EH4用文件扩展名来表示测点的编号，这个特点增大了与其他文件，比如EDI文件、XPR文件、SPE文件等谱文件数据兼容共享的难度。经过较为艰难的努力，MTP终于能够完整地支持EH4谱文件（X文件）的数据操作了。 1、启动MTP5.05，如下： 2、出现MTP空工程主窗体： 3、点击主菜单=工具菜单=工程文件格式生成器，出现以下工程文件生成窗体： 4、在最左边的文件夹列表中找到EH4谱文件数据所在的文件夹，点中左下角“EH4系统谱文件”复选框，此时激活“从@文件中读取坐标值”复选框，若要采用@文件中的坐标，则可选择之。当选中“EH4系统谱文件”复选框时，中间列表中将出现EH4独有的谱文件——X文件名列表。 5、在该列表中拖动鼠标或按住Shift键用鼠标进行多选操作，选中需要导入的EH4的X谱文件，点击按钮，则刚才选定的文件名称将出现在右侧列表中。可以采用类似的方式在右侧列表中，通过多选操作，点击按钮，将不要的文件名称去掉。 6、在右侧，可以修改工程名称和测线名称。在修改工程名称和测线名称后，需要分别进行回车确认操作，不然，修改不会生效。 7、点击增加按钮，可以增加一条测线进行操作。在弹出的测线命名对框中，设置新增测线名称： 8、对新测线进行测点名称添加操作： 9、也可以在测线-测点数列表中，通过右键删除某条测线。 10、点击“完成”按钮，出现工程元格式文件生成的提示对话框： 11、回到MTP主窗体下，新建一个数据工程（注意，新的数据工程EH4Test3与原有数据工程EH4Test2为同级文件夹）： 12、确定后，获得缺省数据工程主窗体界面： 13、现在有三种方式可以将EH4数据导入。第一种从主菜单上导入。点击主菜单=输入输出=从谱文件开始，在弹出的以下对话框中选中第四项EHX：确定后，在弹出的打开文件对话框中选择刚才生成的工程文件名称：EH4-Test3.txt文件：点击“打开”按钮后，会弹出以下对话框，询问是否将谱文件中的坐标输入到即将输出备份的EDI文件里面。点击Yes后，刚才建立的两条测线数据悉数导入进MTP：点击工具栏里的保存按钮，则EH4数据工程得以保存。 14、第二种方式是从测线弹出菜单上导入。在测线的右键菜单中=输入输出=从谱文件开始，在弹出的以下对话框中选中第四项EHX：这个时候选择的是测线元格式文件，而不是工程元格式文件。例如，我们选定刚才创建的元格式文件EH4-131.dat文件：点击打开后，则将EH4-131测线上的数据导入。然后在MTP里面新建一条测线，继续导入其他的数据。 15、第三种方式是利用测点弹出菜单一个测点一个测点导入。即在某条测线上新建一个测点，导入一个测点数据，然后再增加一个测点，导入该测点数据，如此往复下去。自从5.0开始，也可以在测线弹出菜单里，通过多选的方式，一次导入多个谱文件。这些功能，用户可以自己摸索。 16、同时，EH4数据被转化为EDI谱文件输出，备份到数据工程目录下的PrjFmt子目录下面，供数据备份和不同软件的数据交换使用： 17、数据工程建立起来以后，就可以像其他MT观测一样，自由地运用MTP强大的数据处理和解释功能了，例如，可以进行完整的张量分解处理和分析等：; 个人分类: Pioneer|7381 次阅读|0 个评论

更多...

帐号		自动登录	找回密码
密码			注册

关闭 安全验证

标签: 数据工程

相关帖子

相关日志

关闭安全验证