GE实习之应用Python实现自动化

当只有60台Engine的时候,数据量已经达到了4万多行。根据Input Data的数据,通过Query实现数据列的筛选,根据条件增加新列,Merge各表等一系列操作生成Output Data—mergeddata.csv文件。仅在Query中改变一项操作,就需要等待几分钟甚至十几分钟才能完成数据的更新,根据对项目后期数据的评估,后期数据量将会达到几十万行之多,继续使用Query的方式会造成更长的等待时间和最低的效率。因此,有必要将Query根据Input Data生成Output Data过程重构为Python代码,以实现自动化,提高效率。

项目文件类型

部分代码简介

扩展

  • 修改.csv文件注意事项
    打开.csv文件进行相应的修改,修改完.csv文件后,保存时需注意:不能用ctrl+s进行保存,默认会保存为.txt文件。正确保存.csv文件的方式为File -> Save as -> CSV(Comma Separated)(*.csv)