首页>
科研方向
为了解决跨视域场景的光照变化导致难以提取稳定的小股人群特征的挑战，提出了一种基于加权正则化变换的光照不变光流预处理算法， 该算法能在跨视域光照变化场景下得到光照不变的光流估计结果； 为了解决可见光场景下小群体研究缺乏大规模数据集，以及视域变化造成的群体特征差异等问题， 通过广泛征集志愿者构建了一个单模态可见光SYSU-Group数据集，并提出了一种基于孪生网络的SVIGR算法， 能实现成员不变的跨视域小群体身份识别; 为了解决多视角的小股人群视频时域同步问题， 提出了一种基于自监督学习的多视角风格迁移方法，通过视角间潜在的对应关系自监督学习目标的关键点， 并用于视频时域特征对齐任务，该方法在包括小股人群在内的多种场景下均取得了良好的视频同步效果。相关成果如下：
低光图像一直以来存在可见度低和噪声高的问题，其对应的增强方法是一个不适定问题，这主要因为映射增强输出的结果存在多种可能性。在为人类提供较佳的可视化和为机器视觉应用揭示细节方面，低光图像的处理一直是学术界和工业界重点关注的热点。为此，团队根据理想曝光状态，通过BTF将降噪的低光重构图像和光照分量非线性映射为高质量的增强图像。研究成果有广泛的应用场景，如机器视觉、目标跟踪、行人重识别 和 HDR重建等。
单张图像去雾过程中面临噪声放大以及细节丢失的问题，为此，团队将图像分解为不同的尺度，然后用经过高斯滤波的图像计算大气光分量，避免噪声影响。 对于透射率的计算，首先通过暗通先验计算初始化值，再利用非局部雾线的先验知识对初始化的透射率细化，然后使用WFIG对透射率图像噪声进一步抑制。最后，利用多尺度的策略对图像进行恢复，保障了去雾图像的细节信息。 大量实验表明所提出算法在噪声抑制、细节增强、颜色保真等方面具有明显的优势。
基于图像分解的去雨算法容易造成图像细节的丢失，直接制约高层视觉任务的实施。为此，团队根据去噪与去雨任务的相似性，把去噪的思想引入到去雨任务中。根据图像内在块存在局部相似性的属性，利用Non-Local的思想设计网络结构，提取相似块进行融合去雨。 大量实验表明所提出算法去掉雨滴的同时保留了图像的细节信息。
本研究方向利用图像建模、图像拼接、图像融合、图像配准等手段研究高动态视频的方法。主要研究内容有： 1）相机响应函数：图像的辐照度和场景的辐射度具有非线性关系，通过估计光照强度和输出图像的像素值之间的关系，即相机响应函数，可以得到高动态图像。 2）移动目标检测：实时处理大量视频数据，分析、定位和分割出感兴趣目标，跟踪已检测到的运动目标，通过跟踪分析和识别目标的行为。 3）图像配准：将不同时间、不同成像设备或不同条件下获取的多幅图像进行匹配和叠加。 4）色调映射：进行大幅度的对比度衰减将场景亮度变换到可以显示的范围，同时保持图像细节与颜色，使得获得的高动态图像能在显示器中正常显示。 5）图像合成：将获得的高动态背景图像与高动态目标图像合成出最能满足要求的结果图像。
视频前背景分离一直以来存在环境光照的变化（光照突然性的变化和缓慢的变化）、背景的多模态性（背景中存在的细微的运动将影响前景目标检测的结果）、运动物体的阴影、噪声、新的不动的物体进入到背景中（如何快速适应背景的变化）等问题，如何准确地分离出背景一直是一个困难的问题。 为此，团队根据视频背景具有的低秩特性，提出了基于秩估计的低秩分解算法实现了对视频前背景的有效分离。研究成果有广泛的应用，如目标识别、目标追踪、行人重识别等。
本研究方向在模糊神经网络理论基础下，用以解决使用者在缺乏模糊理论、神经网络以及应用对象的全面知识的情况下，如何快速、自动地构造一个有效的模糊神经网络的问题。主要研究内容包括： 1）动态模糊神经网络的结构。 2）结构与参数确定同时进行。 3）动态模糊神经网络的学习方法：规则产生准则、分级学习思想、前提参数分配、结果参数确定、修剪技术，以及结构辨识和输入空间的划分。 4）动态模糊神经网络不同算法的实现：修剪技术中奇异值分解方法、特征值分解方法、列主元方法和总体最小二乘方法，以及参数调节方法中扩展的卡尔曼滤波方法。
本研究方向是以模式识别理论为基础，利用人工智能技术、图像增强、深度学习等手段研究满足特殊性能要求的方法。主要研究内容有： 1）人脸、性别、年龄等识别：对不同光照条件下成像的人脸图像进行处理，消除光照影响，增强人脸局部纹理信息，在人脸识别应用中提升识别准确率。根据输入的人脸图像判断其性别，改进FLD方法，使得类间距与类内距之比为无穷大，从而得到没有交集的最有效的判别性别特征。根据输入的人脸图像判断其年龄范围。 2）字符识别：针对字符的特点，设计研究合理的图像预处理算法，研究字符的归一化和细化处理方法，建立字符标准特征库。
眼动追踪是捕捉视觉注意力进而解读意图的重要手段，本课题针对当前肌电和脑电等信号的局限性，设计了头戴式眼动跟踪系统： （1）提出了鲁棒的瞳孔检测算法；（2）设计并实现硬件；（3）采用Qt开发了相应的软件，包含了必要的软件功能； （4）完成了该系统所需的必要算法，比如个人标定，从凝视方向到凝视点的算法，反光点检测以及目标重建等。 通过上述研究，为人眼视觉驱动的人机交互提供理论基础和科学依据，丰富自然人机交互的内涵，具有重要的学术意义和应用价值。
随着国内经济的迅速发展，物流行业发生了巨大变化，传统的手动分拣无法满足市场需求，分拣业务正朝着自动分拣的方向发展。现有的智能分拣系统存在准确率低，时耗长，可适性差等缺点，无法满足越来越复杂的实际工业场景。为此，团队通过对智能分拣系统的手眼标定、位姿估计、路径规划等环节进行算法优化，实现了工业Bin-Picking场景中高精度快速的智能分拣，为国内外智能分拣系统的设计提供了新的技术方案。研究成果在物流分拣、汽车装配等领域有着广阔的应用前景。
SLAM即同步定位与建图，可以在相机运动的过程中建立周围环境的地图并估计自身的运动。SLAM算法在无人驾驶、服务机器人、测绘、AR等场景中有广泛的应用前景。传统视觉SLAM算法是基于环境是静态的假设进行跟踪，在动态环境中鲁棒性较差，并且没有充分利用到图像的信息。 为此，团队将语义分割技术和SLAM相结合，在提升算法鲁棒性的同时，建立起环境的语义地图，帮助机器人更好的理解周围环境。
在科技快速发展的今天，三维信息逐渐成为人类认识世界和改造世界的手段。作为运用范围广、理论研究较深的三维重建方法，结构光一直是人们研究的热点。结构光系统追求高精度，高效率和低成本，因此团队对结构光系统测量中标定方法、图案编码、相位展开等方面提出了高效且鲁棒的改进算法。针对结构光在特殊环境下的重建问题，团队提出了高反光零件和镜面反射物体的解决方案， 对工厂的工业化具有重要的意义。该研究成果在工业检测、消费娱乐方面有着巨大的发展前景和用处。
采用图像处理、模式识别理论及方法，将传统方法和深度学习相结合，研究自然场景下字符识别的方法，基于物联网技术开发嵌入式字符识别系统。 在雷管编码识别、仪表读数识别/远程抄表、车牌识别、集装箱号识别、自然场景文字识别等有着广泛的应用前景。
采用物联网技术和机器视觉技术，采集图像或视频数据，基于深度学习方法对特定目标和行为进行智能检测，可在云端或终端部署，满足各种应用场景需求。 典型应用场景： (1)监控区域全天候行人检测、人脸检测、车辆检测、烟火检测； (2)加油站、实验室、工厂工地吸烟和玩手机行为检测； (3)违规驾驶行为检测，如疲劳检测（闭眼、打哈欠、打瞌睡等）、打电话、注意力不集中。
随着工业“5.0”时代的到来，个性化定制被推上时代浪潮，单色3D打印技术已经难以满足多样化、个性化的用户需求。市面上已投入使用的SLA全彩3D打印机，设备笨重、成本高昂、操作复杂，无法满足越来越多的个人使用者。为此，团队通过设计新型混合喷头、研发耗材混色方案、改进3D打印控制系统，解决了耗材混合不均、色彩覆盖面窄、色彩精确度低等挑战性问题，为国内外FDM全彩3D打印机的设计制造提供了新的技术方案，对全彩3D打印技术的发展具有重要的推进作用。研究成果在文化创意、 医疗卫生、文保修复、遥感测绘等领域有着广阔的发展前景和巨大的发展潜力。
为降低整个机器视觉系统的成本和空间占有率，本团队将图像采集单元、图像处理单元、分析单元、集成为一个基于嵌入式平台的整体装置，并最终研发一整套涵盖硬件系统、软件系统、用户界面的智能视觉系统。 整个系统涉及光源系统控制与部署、视觉系统的整体搭建与整和、系统功能算法的研究设计，同时还需考量视觉系统的后续功能拓展，根据不同的应用场景，实现系统功能的可定制化。 现如今嵌入式视觉系统具有便携性好、性价比高、功耗低、可靠性高且易编程等特点，已经成为视觉系统发展的主要方向，所以本设计对嵌入式机器视觉系统的研究有着重要的意义。
国内有关爆破智能优化预测系统的研究较少，存在技术落后、效率低下等问题，急需一个良好的解决方案将人工智能技术、计算机辅助设计用于爆破工程中，以满足生产对高品质爆破效果的要求。 本项目以露天矿台阶松动爆破为研究对象，研发一套基于人工智能的爆破优化预测软件系统：在实现AI预测优化的基础上，嵌入行业内常用的经验公式，实现了以人工智能预测优化为主，经验公式预测优化为辅，同时满足多种使用场景需要的国际化商业软件系统。 该系统满足商业软件的稳定性、兼容性、安全性等主要性能指标，爆破优化预测结果满足现场爆破设计要求，达到在国内正式使用国外正式试用的目标。