求问!读取 excel 数据量大会不会导致异常
目前一个脚本对多个大量数据 excel 进行操作,每个子流程单独运行没有问题,整体运行时总是在读取 excel 组件异常,想知道是不是因为数据量大的原因,2 个 excel 加起来 20 多 w 行数据
"目前一个脚本对多个大量数据 excel 进行操作,每个子流程单独运行没有问题,整体运行时总是在读取 excel 组件异常,想知道是不是因为数据量大的原因,2 个 excel 加起来 20 多 w 行数据"
目前一个脚本对多个大量数据 excel 进行操作,每个子流程单独运行没有问题,整体运行时总是在读取 excel 组件异常,想知道是不是因为数据量大的原因,2 个 excel 加起来 20 多 w 行数据
建议分批量读取
对于数据量较大的情况,建议不要每次获取全部数据,按需索取
理论上是不会有什么问题,但是如果能的话,最好把这些大量数据放在数据中,然后对数据库进行操作会更好
单独运行没问题,整体运行报错,那就应该是变量存储的数据量太大,超出了 python 的最大运行内存!!!
pandas 可以处理亿级数据,没关系吧。
单独跑组件不报错,整体跑的时候报错了,但是被异常捕捉了,而且不是每一次都报错,内存占用正常
你看看程序运行时的内存占用情况?
以及报的什么错误呢