python - 为什么 Keras fit_generator() 在实际 "training"之前加载

Question

抱歉打扰了:

我对 keras 函数感到困惑:fit_generator

我使用自定义生成器生成 (image,seg_image)用于训练

仔细看可以看到get_seg()函数的内部

我把 print(path) 安路径就是图片读取路径

从数据来看，还有一个意图是我想知道如何

fit_generator() 从生成器获取数据

#import all the stuff
def get_seg(#parameters ):
    print(path) #to track when this function is called 
    return seg_image     #for training 

#pre-processing image 
def getimage(#parameters):
    #do something to image
    return the imgage      #for training

def data_generator():
#load all the data for training 
    zipped =cycle(zip(images,segmentations))
    while True:
        X = []
        Y = []
        for _ in range(batch_size) :
            im , seg = next(zipped)
            X.append(getimage(#parameters))  
            Y.append(get_seg(#parameters))
    yield np.array(X) , np.array(Y) 

#create an generator 
G = data_generator(#parameters) 
#start training
for ep in range( epochs ):
    m.fit_generator( G , steps_per_epoch=512, 
                     epochs=1,workers=1)

当我开始训练时，我得到了真正出乎意料的结果，因为它是

通过训练:终端看起来像:它打印出24组路径

它从自定义 data_generator 获取数据的拳头

data/train/0000_mask.png
data/train/0001_mask.png
data/train/0002_mask.png
data/train/0003_mask.png
data/train/0004_mask.png
data/train/0005_mask.png
data/train/0006_mask.png
data/train/0007_mask.png
data/train/0008_mask.png
data/train/0009_mask.png
data/train/0010_mask.png
data/train/0011_mask.png
data/train/0012_mask.png
data/train/0013_mask.png
data/train/0014_mask.png
data/train/0015_mask.png
data/train/0016_mask.png
data/train/0017_mask.png
data/train/0018_mask.png
data/train/0019_mask.png
data/train/0020_mask.png
data/train/0021_mask.png
data/train/0022_mask.png
data/train/0023_mask.png

然后:我相信培训从这里开始。

1/512 [..............................] - ETA: 2:14:34 - loss: 2.5879 - acc: 0.1697

再次加载数据(图片)

data/train/0024_mask.png
data/train/0025_mask.png

---

经过512(steps_per_epoch)表示下一轮训练

开始，它会在训练前打印接下来的 24 条路径....

我想知道为什么会这样？ keras是这样吗

有效吗？在实际传递之前加载数据是通过网络吗？

或者我误解或遗漏了一些基本知识？

Answer 1

是的，这就是 Keras 的工作方式。

训练和加载是两个平行的 Action 。一个人看不到另一个人的情况。

在fit_generator 方法中有一个max_queue_size 参数，默认情况下通常等于10。这意味着生成器将全速加载数据，直到队列已满。所以你要提前加载很多图像(这有助于避免模型因加载而变慢)

训练只是检查:队列中是否有元素？很好，训练。

因为您在循环内调用了 get_seg 但仅在该循环外调用了 yield，所以您打印的比批处理多。