python - 如何清除/删除 tensorflow 中的张量？

Question

据我了解，tf.reset_default_graph()仅创建一个新图并将其设置为默认图。因此，先前创建的张量将只占用内存。我还读过未引用的张量不会被垃圾收集(就像Python中的普通变量一样)。

如果我正在运行交叉验证来搜索一组超参数，从而创建相同的图，那么一次又一次，如何摆脱以前创建的张量？

Answer 1

在设计实验时，我遇到了同样的问题，在研究了这个问题之后，唯一对我有用的解决方案是this one。在该链接中可以看到，这似乎是设计缺陷，并且TF团队似乎并不关心修复。
解决方案是为每个交叉验证迭代创建一个新过程。因此，当该过程完成时，系统将杀死它并自动释放资源。

import multiprocessing

def evaluate(...):
    import tensorflow as tf
    # Your logic

for ... in cross_valiadtion_loop:
    process_eval = multiprocessing.Process(target=evaluate, args=(...))
    process_eval.start()
    process_eval.join()