专业视觉方案及设备制造商

以视觉检测为导向
提升产品市场竞争力

手机:13825262003

电话:0755-23594656

视觉检测设备搜索:

推荐产品

联系我们

未耒智能(深圳)有限公司

曾先生13825262003

公司电话0755-23594656

地址深圳市龙华区观湖街道环观南路茂源工业区B1栋

新闻资讯 网站首页 >> 新闻资讯 >> 服饰设计视觉显著性检测

服饰设计视觉显著性检测
发表时间:2018-12-21

服饰设计是系统性、整体性的工作,通过视觉传达诱导消费。设计中,色彩、形态、质感等的对比能够引起视觉冲突,强调设计理念、品牌文化。除此之外,平面广告、网站布局、工业设计等进行视觉传达时,无一不在突显设计重点,以一种刺激性的信息影响受众,所引起的视觉关注度成为产品识别和视觉营销中重要的评价指标。人类视觉具有较强的选择性注意能力,可在复杂场景下迅速聚焦于服饰产品的感兴趣区域(ROI) 。

与文字相比,图像更为醒目,便于长久记忆。眼动仪作为心理学基础研究的重要仪器,目前已被广泛应用于设计评价、消费行为研究当中。多幅设计作品由于眼动追踪设备误差、测试人员生理和心理因素的干扰,很难定量衡量设计内容的视觉关注差异。随着设计图稿的快速增加,批量检测和评估需要消耗大量的人力和时间,亟需一种相对客观、稳定的方法对设计内容进行可视化表征。

视觉注意客观模型作为机器视觉研究中的热点之一,从场景的角度来看,场景中的某些内容比其他内容更能引起观察者的注意,称之为视觉显著。当前,图像视觉显著性检测方法可概括为自底向上和

自顶向下2 大类别。其中: 自底向上的显著性检测基于图像本身,是从输入图像中提取的不同底层特征,获得的视觉显著性主要由底层的视觉信息( 如颜色、光强、边缘等) 驱动; 自顶向下的显著性模型则与具体任务有关,并由目标所驱动,受到主观意识支配,依赖于具体的任务。由于服饰图像内容的不定性,未耒智能采用自底向上的视觉显著性检测方法,首先依据图像亮度、颜色和方向特征信息构建多尺度高斯金字塔,利用归一化合并的方式对特征进行滤波和融合,并绘制出服饰图像的显著区域及显著程度,提出用以量化视觉显著度的评价指标。


timg


1 底层视觉特征提取

人眼视网膜的感光细胞分为2 类: 一类是视杆细胞,可感知外界的亮度信息; 另一类是视锥细胞,感知颜色信息,通过初级视觉皮层将视觉信息进一步细分和处理。图像的亮度、色彩及纹理是3 个可直接从图像中提取的特征,属于图像的底层特征。未耒智能采用自底向上的服饰显著性检测方法,首先对服饰图像的亮度、色彩及纹理方向进行提取。


1. 1 亮度特征提取

彩色图像转换为黑白图像,其亮度值可用灰度值表示。常见的图像灰度化的方法包括直接分量法、最大值法、平均值法及加权平均法。一幅RGB格式的图像可分为红、绿、蓝3 个通道,亮度特征从人体生理学角度出发,采用三通道加权的方式计算更符合生理视觉特性。亮度( L) 的计算方法如式( 1) 所示。

image.


式中,r、g、b 分别代表图像的红、绿、蓝3 个通道,对其赋予不同的权重系数,进而计算得出图像的亮度特征。

该方法依据YIQ 色彩模型中人眼对色彩敏感程度,将图像中的亮度分量分离出来。



1. 2 色彩特征提取

从人眼视锥细胞只能在明亮光线下感受颜色的生理机制出发,为剔除颜色与亮度间的耦合关系影响,未耒智能研究对高亮区域的三通道值r、g、b 分别进行归一化处理,其余区域各通道值赋值为0。高亮区域的定义为亮度值超出图像最大亮度值10% 的区域。

RGB 图像只有红、绿、蓝3 个颜色通道,为得到黄色通道,利用归一化后的r、g、b 值,根据Borji等提出的方法重新计算4 个通道值:

image.


式中,R、G、B、Y 分别为红、绿、蓝、黄4 个变换得到的通道值。利用以上4 个通道值,计算得出红-绿、蓝-黄的颜色对:

image.

式( 3) 、( 4) 中利用色彩绝对值,突显出2 个相反颜色中兴奋值。



1. 3 方向特征提取

大脑初级视觉皮层细胞对特定方向的刺激有强烈的反应。Daugman研究发现,Gabor 滤波器与视觉皮层的反应较为相近。基于此,未耒智能采用二维Gabor 滤波器对图像方向特征进行描述:

image.

该函数由高斯核函数和余弦函数调制得出。其中: x' = xcosθ + ysinθ,y' = - xsinθ + ycosθ; λ 为余弦函数的波长; θ 为Gabor 滤波器的方向; ψ 表示相位; σ 为高斯包络的标准差。设定λ = 7,ψ = 0,γ = 1,σ =2. 333。对于重要变量θ,选择了4 个代表性的方向,分别为0°,45°,90°和135°,以此构造出4 个滤波器,将输入图像滤波获得4 个方向的特征图。


2 特征显著图构建与融合

2. 1 特征显著图构造

图像金字塔是以多分辨率来解释图像的一种结构,最初用于图像压缩。所谓图像金字塔模型,是通过对输入图像构造不同分辨率的图像组,按序排列形如金字塔的图像集合。图像高斯金字塔变换示意图如图1 所示。

image.

特征显著图的构建依据Rodieck 等提出的生物同心圆拮抗感受野的数学模型。图像高斯金字塔的尺度变换利用了低通滤波器-高斯函数对图像进行平滑处理,降采样( 比例为1 /2) 对图像进行变换,获得尺度依次递减的图像组I( σ) ,其中σ = 0,1,2,…,8。以亮度图为例,

image.

式中: t = 2,3,4; b = 3,4( 见图1) ; 符号Θ 表示2 幅图像相减。由于2 幅特征图尺度不同,在处理前需将小尺度图像放大至大尺度图像,这样,利用每个特征图构造出的9 个金字塔图像可计算得出6 幅高斯差分图。类似地,将色彩、方向等7 个特征进行差分计算,共计获得42 幅特征显著图。


2. 2 特征筛选

为模拟神经元侧抑制,剔除冗余信息,增强反差效果,需要对2. 1 中计算得出的42 幅特征显著图进行特征竞争和筛选。

未耒智能采用迭代的局部交互方式,对大量反复出现的特征区域相互抑制,突出少量出现的显著区域。利用Rodieck提出的感受野数学模型:

image.

式中: σex = 2%,表示兴奋区域的范围; σih = 5%表示抑制区域的范围; cex为兴奋常数; cih为抑制常数,分别设定为0. 5 和1. 5。利用该函数对特征图并行滤波,以迭代的方式逐渐抑制图像的均匀区域,突出显著区域。


2. 3 特征显著图融合

亮度、颜色及方向特征的显著图处理后分别得出1、2、4 幅显著图,因此需将多个特征显著图进行融合,合并为一幅最终的服饰视觉显著图。

首先,需对同类特征显著图进行归一化合并处理。颜色特征和方向特征分别有多幅特征显著图,需进行合并处理。以方向特征为例,将4 幅归一化合并出的图再次处理,得到方向特征的总体显著图。

image.

式中: N(·) 表示归一化算子; 为求和算子。这样,利用4 个方向的特征显著图计算得到最终方向特征显著图。颜色特征参照方向特征进行归一化合并处理得到C,而亮度特征表示为L。最后,对亮度、颜色、方向特征图直接求取均值获得总体特征图,如式( 9) 所示,最终获得输入服饰图像的视觉显著图。

image.

3 视觉注意热区分析

利用图像分析技术,客观地描绘视觉热区,并提出视觉覆盖率和分散度2 个指标,用以衡量服装设计元素的视觉关注效果。


3. 1 视觉覆盖率

基于2. 3 节提出的视觉综合特征显著图,首先按照显著权重对热点覆盖区域占比进行评价,得出视觉覆盖率( Hv) 评价指标。

image.

式中: i 为热点分割图中0 ~ 255 之间的任意亮度值;Si为亮度值为i 的像素点个数; S 为图像像素点总数; Hv结果采用百分制表示。


3. 2 视觉分散度

此外,为测定视觉分散特征,首先提取热点分割图中视觉落点最为显著和致密的区域,并提取出视觉重心Pc,目的在于寻找出该陈列场景的聚焦落点位置。视觉分散度依据次显著落点与视觉重心的分离程度进行测算:

image.

式( 11) 是在全局熵的基础上演变而来。式中: di为所有亮度值为i 的像素点与视觉重心的距离均值; d为所有像素点与视觉重心的距离的均值; pi为出现亮度值为i 的像素的概率。视觉分散度Dv的值越小,说明其视觉分散度越小; 反之,则视觉分散度越大。


4 结果与分析

服装设计中涵盖了色彩、造型、款式、材质等基本要素,构成了服装整体视觉效果,因此未耒智能实验选取了色块图、不同纹理的材质图、配饰效果图、服装款式图及成衣图进行视觉显著性检测。以上算法采用Visual V ++ 语言编程,实现检测结果的输出和存储。

以图2 所示色块图为例,颜色涵盖黑、品红、黄、蓝及过渡色块,包含了常用的主要色彩。以此图为检测对象,检验未耒智能方法对不同颜色的敏感程度及关注区域。

image.

图3 示出色块图的视觉显著度检测结果。可看出,色块图的视觉显著性检测分布因输入图像的颜色及亮度的不同而产生差异。图中: 灰度值越大( 原值越接近255,归一化值越接近1) ,表明视觉关注度越显著; 灰度值越小( 原值越接近0,归一化值越接近0) ,则表明视觉关注度越低。除表达出视觉显著程度外,若根据该图的域值进行分割,便可有效地划分出输入图像的显著区域。

为更好地将显著结果可视化表达出来,未耒智能实验将不同显著度定义为不同的颜色,其中深红色表示视觉关注度最高,黄色次之,绿色、蓝色、灰色部分的显著度依次衰减,处理结果如图4 所示。服饰设计传达效果除色彩外,与作品本身的材质、纹理、廓型等息息相关。图5 ~ 8 分别示出面料、配饰、成衣图、着装图的视觉显著性检测结果。

image.

image.

image.image.


2. 2 中的特征筛选和融合充分模拟了人眼的中心偏差理论,即假定人眼的初始视野中心锁定在图像的中心,并将人的视觉中心设定为显著性特征的分布中心后进行特征的筛选和融合。图5 中绉组织织物的视觉显著图最为显著的区域集中在图像中心区域,这是由于其表面纹理分散均匀,其视觉覆盖率Hv为35. 33%,视觉分散度Dv为0. 7082; 而图6、7的显著区域集中在色彩和形状冲突严重的位置,图6 的视觉覆盖率Hv为22. 57%,视觉分散度Dv仅为0. 2797,图7 的视觉覆盖率Hv为17. 73%,视觉分散度Dv更低,其值为0. 1371。图8 示出人体穿着服装的整体效果,其视觉兴趣在检测中不仅包含服装,还涵盖了人体形态和面部特征,因此其视觉关注区域集中在考虑到服装显著性的同时,也对人体的裸露部分进行视觉追踪。视觉落点集中到面部区域和少量的服装区域,其视觉覆盖率Hv为22. 50%,视觉分散度Dv为0. 180 2。以上典型样本显著中心分散到图像色彩、亮度或纹理方向突出的区域中,与人眼的视觉机制较为吻合。视觉热点图可视化地描绘了图像各区域的显著情况,而视觉覆盖率和分散度用于对图像显著性的2 个方面进行全局性描述和定量评价。

在检测速度方面,以1 幅尺度为840 像素×1 100 像素、分辨率为120 像素的色块图( 见图2) 为例,系统检测时间为0. 886 s。系统硬件配置为:CPU Intel( R) 2. 70 GHz,RAM 为8 GB。未耒智能实验选取的图像最大尺度为1 200 像素× 3 200 像素,最小尺度为500 像素× 500 像素,检测时间均小于1 s,检测耗时随着图像分辨率及尺度等的差异会有所不同。


5 结论

机器视觉角度提出了采用图像视觉显著性检测,以满足当前服饰品设计的客观、批量化评估的需求。首先对图像亮度、颜色、纹理方向等底层特征进行提取,利用多尺度的分解方法构建出金字塔模型;采用归一化合并的方式对特征显著图进行滤波; 最后,对形成的3 类特征图进行融合,根据显著程度绘制出视觉热点图及亮度图,从而划分图像的视觉显著区域,并提出了2 个用于全局性评价整幅图像显著度的评价指标。

结果表明,未耒智能所采用的算法可快速完成服饰图像的视觉显著区域及显著程度的检测,未耒智能实验所采用的图像检测时间均小于1 s。服饰设计视觉显著性检测方法的研究,有助于实现产品设计质量的客观、批量化评估,对平面广告、家装设计、店铺陈列同样具有一定的应用价值。后续的研究重点将关注算法检测出的视觉显著区域及显著度与眼动仪对主观受试者检测均值的一致性,从而对算法进行优化,以适应纺织品服装视觉显著性检测需求。未耒智能融合图像底层特征形成视觉显著图,一定程度上反映了服饰图像的视觉冲击力,有助于促进今后服饰部件自动分解和语义解读的深入研究。


以上就是未耒智能关于服饰检测的研究,详情可咨询未耒智能官方网站:www.weileizn.com      电话:0755-23594656