基于地理图的控制
2019-11-22

基于地理图的控制

本文所公开的是方法、系统、计算机可读介质以及其他的实施,其包括一种方法,包括:从被多个摄像机捕获的图像数据中确定关于多个移动对象的运动数据,并且在表示被多个摄像机监控的区域的全局图像上呈现关于多个对象所确定的运动数据的图形化指示,其中图形化指示在全局图像上对应于多个移动对象的地理位置的方位处。该方法还包括:响应于基于呈现在全局图像上的图形化指示的全局图像的区域的选择,呈现来自多个摄像机中的一个摄像机的所捕获的图像数据,其中全局图像的区域呈现关于被多个摄像机中的一个摄像机捕获的多个移动对象中的至少一个移动对象的至少一个图形化指示。

图6是摄像机校准过程的示例实施方式的流程图。

回到图2,基于在全局图像上呈现的图形化指示,响应于在其上有至少一个图形化指示的地图的区域的选择呈现(230)来自多个摄像机中的一个摄像机的所捕获的图像/视频数据,其中至少一个图形化指示表示被摄像机之一捕获的多个移动对象中的至少一个。例如,用户(例如,警卫)能够具有被所部署的所有摄像机监控的区域的代表性的单个视图(即,全局图像),并且因此监控所识别的对象的运动。当警卫希望获得关于移动对象(例如,追踪的轨迹(如,诸如以红色曲线所显示的)对应的移动对象)的更多细节时,警卫可以点击或以其他方式选择地图上的区域/地区,其中显示了特定的对象正在移动以使来自与该区域相关联的摄像机的视频流被呈现给用户。例如,全局图像可以被分成区域/地区的网格,当选择它们中的一个时,其使得来自覆盖所选定的区域的摄像机的视频流进行呈现。在一些实施方式中,视频流可以在全局图像的旁边被呈送给用户,在全局图像上,根据摄像机的帧来识别的移动对象的运动被呈现给用户。例如,图4示出了在全局图像的旁边显示的视频帧,在全局图像中,来自视频帧的移动汽车的运动被呈现为移动的矩形。

因此,如已经提到的,背景相减操作被应用(在535处)到捕获的图像/帧(使用短期的背景模型以及长期的背景模型),以提取前景像素。背景模型可以根据分割结果进行更新540。由于背景通常不会快速变化,故没有必要为整个图像以每个帧为单位更新背景模型。然而,如果每N(N>0)帧更新一次背景模型,那么具有背景更新的帧和没有背景更新的帧的处理速度是显著不同的,并且这有时可能引起运动检测误差。为了克服该问题,在每个帧中可以更新背景模型的仅仅一部分,这样每个帧的处理速度实质上是相同的并且实现了速度优化。

在上述矩阵表达中,例如,参数α22对应于乘以项X2c^y2cl的项a2xxa2xy(当乘了公式3的项时),其中(Xc^yc=I)是在摄像机图像中选定的第一方位(地点)的x-y摄像机坐标。

全局图像中对应的地点的世界坐标可以被安排为矩阵P,矩阵P被表达为:

简单地说,过程500包括使用在网络中部署的摄像机(例如,在图3的实例中,摄像机被部署在使用黑圈31Oa-g标识的位置处)之一捕获505视频帧。捕获视频帧的摄像机可以与本文关于图IA和图IB所描述的摄像机110、120、130、140和/或170中的任意一个类似。此夕卜,虽然过程500是关于单个摄像机来描述的,但也可以使用讨论中部署以监控区域的其他摄像机来实施类似的过程。另外,视频帧可以从视频源实时地被捕获或者从数据存储器取回(例如,采用实施其中摄像机包括暂时存储捕获的图像/视频帧的缓冲器,或者从存储大量的之前捕获的数据的储存库)。过程500可以利用高斯模型,以排除静态背景图像以及具有没有语义(semantic)意义的重复运动的图像(例如,随风移动的树木),从而从感兴趣的对象有效地扣除场景的背景。在一些实施方式中,关于图像中每个像素的灰度级强度形成参数模型。这种模型的一个实例是大量高斯分布的加权总和。例如,如果我们选择3个高斯的混合,那么这样一像素的标准灰度级可以通过6个参数来描述,3个数是平均数,以及3个数是标准偏差。采用这种方式,可以建模例如风中的树枝的运动的重复变化。例如,在一些实施、实施方式中,为图像中的每个像素保留三个合适的像素值。一旦任何一个像素值落入高斯模型之一,则对应的高斯模型的概率增加,并且像素值使用正在运行的平均值进行更新。如果不能为该像素找到匹配,那么新模型代替混合模型中的最小概率的高斯模型。也可以使用其他的模型。

在一些实施方式中,当用户完成了观看由主和/或辅助摄像机获得的图像时,和/或在某一预先确定的时间段已经过去之后,辅助摄像机可以回到其初始位置,从而避免在其被调整为聚焦在选定的特征/区域上之后,关于被辅助摄像机捕获的新的视场需要对于主摄像机重新校准辅助摄像机。

通常,摄像机网络中的每个摄像机都具有视图和视场的关联点。视图点指的是通过摄像机观看物理区域的方位和视角。视场指的是被摄像机以帧的方式成像的物理区域。含有处理器(例如数字信号处理器)的摄像机可以处理帧以确定移动对象是否被呈现在其视场内。在某些实施方式中,摄像机可以将元数据与移动对象(被简称为“对象”)的图像关联。这种元数据定义并表示对象的各种特性。例如,元数据可以表示在摄像机的视场内(例如,以摄像机的CCD的像素测量的2维坐标系中)的对象的位置、对象的图像的宽度(例如,以像素测量的)、对象的图像的高度(例如,以像素测量的)、对象的图像正在移动的方向、对象的图像的速度、对象的颜色、和/或对象的类型。这些是可以被呈现在与对象的图像相关联的元数据中的一些信息;其他类型的信息包含在元数据中也是可能的。对象的类型指的是基于对象的不同特性,对象被确定为在其内的类型。例如,类型可以包括:人类、动物、汽车、小卡车、大卡车和/或SUVs。可以执行对象类型的确定,例如,使用如图像形态学、神经网络分类、和/或其他类型的图像处理技术/过程这样的技术来识别对象。关于涉及移动对象的事件的元数据还可以通过摄像机被发送(或者这种事件的确定可以远程执行)到主机计算机系统。例如,这种事件元数据包括:对象进入摄像机的视场、对象离开摄像机的视场、摄像机正被破坏、对象停留在摄像机的视场中一段大于阈值的时间段(例如,假设人在区域中徘徊一段大于某一阈值的时间段)、多个移动对象合并(例如,奔跑的人跳进移动的车辆中)、移动对象被分成多个移动对象(例如,人从车辆中出来)、对象进入感兴趣的区域(例如,想要被监控的在其中的对象的运动的预定义区域)、对象离开预定义地区、对象正跨越绊网(tripwire)、对象在与关于地区或纟半网的预定义禁止方向匹配的方向上移动、对象计数、对象移除(例如,当对象静止/固定一段长于预定义的时间段并且其尺寸比预定义地区的很大一部分大时)、对象丢弃(例如,当对象静止一段长于预定义的时间段并且其尺寸比预定义地区的很大一部分小时)、和/或驻留(dwell)定时器(例如,在一段长于特定的驻留时间内,对象在预定义地区中是静止的或者移动很少)。

多个摄像机中的每一个可以向主机计算机系统发送表示各个摄像机的视图中出现的对象(例如,移动对象)的运动和其他特性的数据,和/或可以向主机计算机系统发送视频输入(videofeed)桢(可能经过压缩的)。使用表示从多个摄像机接收的对象的运动和/或其他特性的数据,主机计算机系统被配置为在单个全局图像(例如,地图、被摄像机覆盖的整个区域的俯瞰图像,等等)上呈现关于在摄像机捕获的图像中出现的对象的运动数据,以便使用户能在单个全局图像上看到多个对象的运动(包括对象相对彼此的运动)的图形化表示。主机计算机可以使用户能从该全局图像选择区域并且从捕获来自该区域的图像的摄像机接收视频输入。

本文所公开的是包括下述操作的方法、系统、装置、设备、产品以及其他的实施,一种方法包括:从多个摄像机捕获的图像数据中确定关于多个移动对象的运动数据,并且在表示被多个摄像机监控的区域的全局图像上呈现图形化运动数据项(也被称为图形化指示),该图形化运动数据项表示在全局图像上对应于多个移动对象的地理位置(location)的方位(position)处关于多个移动对象的确定的运动数据。该方法还包括:响应于基于呈现在全局图像上的图形化运动数据项的全局图像的一区域的选择,呈现从多个摄像机中的一个捕获的图像数据,其中全局图像的一区域呈现关于被多个摄像机中的一个捕获的(或之中出现的)多个移动对象的至少一个的至少一个图形化指示(也被称为图形化运动数据项)。

例如,可能用元数据表示的对象的位置可以用与摄像机之一相关联的二维坐标系中的二维坐标表达。因此,这些二维坐标与像素组的方位相关联,像素组构成由特定的摄像机捕获的帧中的对象。对象的二维坐标可以被确定为由摄像机捕获的帧内的点。在一些配置中,对象的方位的坐标被认为是对象的最低部分的中部(例如,如果对象是站立的人,那么方位将在人的脚之间)。该二维坐标可以具有X和y分量。在一些配置中,X和y分量以像素的数量测量。例如,位置{613,427}将意味着对象的最低部分的中部沿着摄像机的视场的X轴是613像素,并且其沿着摄像机的视场的y轴是427像素。随着对象的移动,与对象的位置相关联的坐标将改变。此外,如果同一个对象在一个或者多个其他摄像机的视场中也是可见的,那么由其他摄像机确定的目标的位置坐标可能将是不同的。

图3是被多个摄像机监控的区域的全局图像的照片。