人世繁华|处理帧数不等的视频的批处理代码训练和测试一个有效的机器学习模型最重

训练和测试一个有效的机器学习模型最重要的一步是收集大量数据并使用这些数据对其进行有效训练。小批量（Mini-batches）有助于解决这个问题，在每次迭代中使用一小部分数据进行训练。
但是，随着大量的机器学习任务在视频数据集上执行，存在着对不等长视频进行有效批处理的问题。大多数方法依赖于将视频裁剪成相等的长度，以便在迭代期间提取相同数量的帧。但在我们需要从每一帧获取信息来有效地预测某些事情的场景中，这并不是特别有用，特别是在自动驾驶汽车和动作识别的情况下。
我们可以创建一个可以处理不同长度视频的处理方法。
在Glenn Jocher的Yolov3中() ，我用**LoadStreams**作为基础，创建了LoadStreamsBatch类。
类初始化def __init__(self, sources='streams.txt', img_size=416, batch_size=2, subdir_search=False):self.mode = 'images'self.img_size = img_sizeself.def_img_size = Nonevideos = []if os.path.isdir(sources):if subdir_search:for subdir, dirs, files in os.walk(sources):for file in files:if 'video' in magic.from_file(subdir + os.sep + file, mime=True):videos.append(subdir + os.sep + file)else:for elements in os.listdir(sources):if not os.path.isdir(elements) and 'video' in magic.from_file(sources + os.sep + elements, mime=True):videos.append(sources + os.sep + elements)else:with open(sources, 'r') as f:videos = [x.strip() for x in f.read().splitlines() if len(x.strip())]n = len(videos)curr_batch = 0self.data = http://kandian.youth.cn/index/[None] * batch_sizeself.cap = [None] * batch_sizeself.sources = videosself.n = nself.cur_pos = 0# 启动线程从视频流中读取帧for i, s in enumerate(videos):if curr_batch == batch_size:breakprint('%g/%g: %s... ' % (self.cur_pos+1, n, s), end='')self.cap[curr_batch] = cv2.VideoCapture(s)try:assert self.cap[curr_batch].isOpened()except AssertionError:print('Failed to open %s' % s)self.cur_pos+=1continuew = int(self.cap[curr_batch].get(cv2.CAP_PROP_FRAME_WIDTH))h = int(self.cap[curr_batch].get(cv2.CAP_PROP_FRAME_HEIGHT))fps = self.cap[curr_batch].get(cv2.CAP_PROP_FPS) % 100frames = int(self.cap[curr_batch].get(cv2.CAP_PROP_FRAME_COUNT))_, self.data[i] = self.cap[curr_batch].read()# guarantee first framethread = Thread(target=self.update, args=([i, self.cap[curr_batch], self.cur_pos+1]), daemon=True)print(' success (%gx%g at %.2f FPS having %g frames).' % (w, h, fps, frames))curr_batch+=1self.cur_pos+=1thread.start()print('')# 新的一行if all( v is None for v in self.data ):return# 检查常见形状s = np.stack([letterbox(x, new_shape=self.img_size)[0].shape for x in self.data], 0)# 推理的形状self.rect = np.unique(s, axis=0).shape[0] == 1if not self.rect:print('WARNING: Different stream shapes detected. For optimal performance supply similarly-shaped streams.')在__init__函数中，接受四个参数。虽然img_size与原始版本相同，但其他三个参数定义如下：

人世繁华|处理帧数不等的视频的批处理代码

推荐阅读

[五商玩卡]网友：库克真会偷懒！，苹果始料不及！代工小哥冒险曝光

一灯大史|挥洒盛唐：以严谨著称的中国书法，为何在唐朝愈发狂放，笔墨丹青

属牛的女人取名字旺财属牛好听稀少的女孩名字

怎样去电影院取电影票

吃货美食研究院|芋香排骨，绿豆芽炒鸡蛋，青椒猪手的做法，美食精选：家常冒菜

张某尊|法制日报刊文：超市“抓”小偷被控非法拘禁并不冤

国产手表哪个品牌质量是最好的？

房子阳台朝哪个方向好房子阳台朝什么方向好

素手烹茶|华为到底为何造不出“芯”？

穿搭|五行穿衣指南｜2020年10月20日穿出好运来五行能量穿衣旺运法

杨和苏|未来我要拿给孩子看！杨和苏王位正式版发布，MV经费拉满了解下？

电竞趣事多|阿布之前的话应验了，TES淘汰T1成功晋级！knight实力碾压faker

蒙顶黄芽的选购技巧,蒙顶黄芽的功效特点

普京说俄罗斯愿就军控、反恐等问题与美国对话

简单的脑筋急转弯脑筋急转世界最大的头是啥

五联疫苗都是哪五种五联疫苗包括哪些

5G|苹果怎么了？最低配iPhone不但名字改了，连芯片都减配了

▲一部从头到尾都在闹鬼的电影，结局更是惊艳！

净无邪|平时该如何使用？使用时又有哪些注意事项？，作为护肤双刃剑的A酸

时尚美娇娘|说不羡慕是假的，徐璐终于对“毒液裙”下手了！看清她的身材比例