龚怡宏——西安交通大学电信学院人工智能与机器人研究所教授

龚怡宏，西安交通大学电信学院特聘教授，博导，中组部"****"教授。

教育及工作经历：

1983.04 -- 1987.03：日本东京大学，电气电子工学学士。

1987.04 -- 1989.03：日本东京大学，电气电子工学硕士。

1989.04 -- 1992.03：日本东京大学，电气电子工学博士。

1992.05 – 1996.05：新加坡南洋理工大学电气电子工学院助理教授

1996.06 – 1998.12：美国卡内基梅隆大学机器人研究所研究员

1999.01 – 2009.09：NEC美国研究院硅谷分院项目经理，部门经理，分院院长

2009.10 – 2010.08：美国Akiira媒体系统公司首席技术官及工程副总裁

2010.09 – 2012.03：NEC中国研究院首席科学家

2012.04 – 现在：      西安交通大学电信学院二级教授

2019.04 – 现在：      西安交通大学软件学院院长

学术兼职与社会兼职 Main Responsibility：

1、IEEE Transactions on CSVT 副主编（Associate Editor）。

2、美国电气电子工程学会会士（IEEE Fellow）。

3、973项目首席科学家。

4、陕西省人工智能联合实验室执行副主任。

5、视觉信息处理国家工程实验室副主任。

6、西安交通大学软件学院院长。

主讲课程：

 52094   计算机视觉的统计方法与机器学习。

培养研究生情况：

毕业硕士研究生：张心梓，荣娜，刘楠，成乐乐，禹庆华，袁望，石大虎，侯骐麒，石睿。

毕业博士研究生：张顺，张世周。

研究领域：

包括多媒体内容分析，机器学习，模式识别。

承担科研项目：

1、视觉认知的脑工作机理及高级脑机交互关键技术研究，首席科学家，国家973项目，2015CB351700， 2015.01--2019.12

2、基于选择性注意的交叉感知信息认知计算， 首席科学家，国家自然科学基金重点项目，61332018， 2014.01--2018.12

3、基于深度学习的图像分类算法，项目负责人，华为技术有限公司， 2014.03--2017.01

4、红外视频行人检测算法开发，项目负责人，天津津航技术物理研究所 ，2014.10--2015.10

5、监控场景目标检测与特征识别技术，项目负责人，华为技术有限公司，2016.11—2017.11

科研成果：

1、多功能高精度自动视频监控核心技术及系统： 该产品曾经在智能视频监控领域市场占有率居世界第二。

2、FieldAnalyst人物年龄性别识别软件： 此产品为世界上第一个商用人物年龄性别识别软件(详情参见http://www.necsoft/com/soft/fieldanalyst/)。

3、FieldAnalyst第2版： 在人物年龄性别识别的基础上，FieldAnalyst第2版进一步加入了人流自动追踪功能(详情参见http://www.necsoft.co.jp/press/2008/081021.html)。

4、文书概要自动生成系统： 能将一篇或多篇文章的内容以用户指定的篇幅加以概括（详情参见http://www.itwips.com）。

         国外发明专利：

专利保护期	专利名称	授权国	发明人排序
2019年8月	Method and apparatus for personalized multimedia summarization based upon user specified theme	美国	唯一发明人
2021年10月	Creating audio-centric, image-centric, and integrated audio-visual summaries	美国	第一发明人
2023年10月	Method and system for segmentation, classification, and summarization of video images	美国	第一发明人
2026年10月	Video foreground segmentation method	美国	第一发明人
2021年3月	Text summarization using relevance measures and latent semantic analysis	美国	第一发明人
2022年5月	Document clustering with cluster refinement and model selection capabilities	美国	第一发明人
2028年8月	Processing high dimensional data via EM-style iterative algorithm	美国	第二发明人
2027年10月	Active feature probing using data augmentation	美国	第二发明人
2024年8月	Video surveillance system that detects predefined behaviors based on predetermined patterns of movement through zones	美国	第二发明人
2024年8月	Video surveillance system in which trajectory hypothesis spawning allows for trajectory splitting and/or merging	美国	第二发明人
2024年 8月	Video surveillance system with object detection and probability scoring based on object class	美国	第二发明人
2024年8月	Video surveillance system with rule-based reasoning and multiple-hypothesis scoring	美国	第二发明人
2028年4月	Super resolution using Gaussian regression	美国	第三发明人
2028年7月	Monitoring driving safety using semi-supervised sequential learning	美国	第三发明人
2027年12月	Real-time driving danger level prediction	美国	第三发明人
2027年10月	System and method for generating predictive matrix-variate T models	美国	第三发明人
2028年11月	Efficient multi-hypothesis multi-human 3D tracking in crowded scenes	美国	第三发明人
2032年11月	Recovery of 3D human pose by jointly learning metrics and mixtures of experts	美国	第三发明人
2028年11月	Finding communities and their evolutions in dynamic social network	美国	第四发明人
2028年10月	Systems and methods for classifying content using matrix factorization	美国	第四发明人

       
      国内发明公开： 

[1]王少鲲,乔敏行,龚怡宏,董松林. 一种受语义知识指导的类增量学习方法及系统[P]. 陕西省：CN115496983A,2022-12-20.

[2]董松林,尚苗,王长鑫,龚怡宏,张玥. 一种受脑启发的全局-局部双通道图像分类方法及系统[P]. 陕西省：CN115439696A,2022-12-06.

[3]贺宇航,余文涛,韩洁,魏星,龚怡宏. 基于身份识别和跨摄像头目标追踪的智能监控系统及方法[P]. 陕西省：CN114693746A,2022-07-01.

[4]洪晓鹏,关庆澍,柯炜,龚怡宏. 多目标区域的最短路径规划方法、系统、设备及存储介质[P]. 陕西省：CN113705858A,2021-11-26.

[5]洪晓鹏,张晓涵,董松林,龚怡宏. 数据分布式的增量学习方法、系统、设备及存储介质[P]. 陕西省：CN113449878A,2021-09-28.

[6]贺宇航,马智恒,魏星,洪晓鹏,余文涛,龚怡宏. 基于误差感知的密度同构重建的无监督跨域人群计数方法[P]. 陕西省：CN113269083A,2021-08-17.

[7]洪晓鹏,王羽钧,龚怡宏. 机器人集群任务分配方法、系统、设备及存储介质[P]. 陕西省：CN113269424A,2021-08-17.

[8]洪晓鹏,王亚斌,龚怡宏. 异构机器人集群任务分配方法、系统、设备及存储介质[P]. 陕西省：CN113256125A,2021-08-13.

[9]龚怡宏,张玥,余旭峰,洪晓鹏,马健行. 基于深度学习的道路交通行为无人机监测系统及方法[P]. 陕西省：CN111145545A,2020-05-12.

[10]常新远,龚怡宏,魏星,洪晓鹏,马智恒. 一种基于图的直推式半监督行人再识别方法[P]. 陕西省：CN111027421A,2020-04-17.

[11]魏星,张玥,龚怡宏. 一种基于深度神经网络子空间编码的图像分类方法[P]. 陕西省：CN110533101A,2019-12-03.

[12]贺宇航,魏星,石伟伟,龚怡宏. 基于约束条件下非负矩阵分解的多摄像头多目标追踪方法[P]. 陕西省：CN110490911A,2019-11-22.

[13]顾子晨,龚怡宏,陶小语. 图像处理的方法、装置、计算机可读存储介质[P]. 广东省：CN109934216A,2019-06-25.

[14]张玥,龚怡宏,石伟伟,程德,陶小语. 基于直推式半监督深度学习的图像分类方法[P]. 陕西：CN109034205A,2018-12-18.

[15]张玥,龚怡宏,石伟伟,程德,陶小语. 基于深度卷积神经网络的细粒度图像分类方法[P]. 陕西：CN109002845A,2018-12-14.

[16]张亚森,石伟伟,龚怡宏. 一种图像分类方法及装置[P]. 广东：CN107622272A,2018-01-23.

[17]张世周,王进军,龚怡宏,石伟伟. 基于归一化非负稀疏编码器的图像快速特征表示方法[P]. 陕西：CN105260736A,2016-01-20.

[18]龚怡宏,石伟伟,王进军,张世周. 基于线性判别分析准则的改进卷积神经网络性能的方法[P]. 陕西：CN105243398A,2016-01-13.

[19]王进军,张世周,龚怡宏,石伟伟. 基于多线索归一化非负稀疏编码器的图像快速特征表示方法[P]. 陕西：CN105224943A,2016-01-06.

[20]王进军,石伟伟,龚怡宏,张世周. 基于码书块稀疏的非负稀疏编码的图像特征提取方法[P]. 陕西：CN105224944A,2016-01-06.

[21]石伟伟,王进军,龚怡宏,张世周. 基于结构相似度的非负稀疏编码的图像分类方法[P]. 陕西：CN105184320A,2015-12-23.

[22]龚怡宏,张世周,王进军,石伟伟. 基于L21范数的提升卷积神经网络泛化能力的方法[P]. 陕西：CN105160400A,2015-12-16.

[23]蒋怀祖,龚怡宏,柴振华. 一种多目标跟踪方法、装置及设备[P]. 广东：CN105046220A,2015-11-11.

[24]张世周,龚怡宏,柴振华. 一种图像特征提取方法及装置[P]. 广东：CN104866855A,2015-08-26.

[25]龚怡宏,王进军,张顺,王泽伦. 一种迭代更新轨迹模型的多目标跟踪方法[P]. 陕西：CN103942536A,2014-07-23.

[26]龚怡宏,梅魁志,孙宏滨,钱强,张顺. 一种智能电视机的人机交互系统及其交互方法[P]. 陕西：CN102769802A,2012-11-07.

发明授权

[1]贺宇航,魏星,石伟伟,龚怡宏. 基于约束条件下非负矩阵分解的多摄像头多目标追踪方法[P]. 陕西省：CN110490911B,2021-11-23.

[2]龚怡宏,张玥,余旭峰,洪晓鹏,马健行. 基于深度学习的道路交通行为无人机监测系统及方法[P]. 陕西省：CN111145545B,2021-05-28.

[3]顾子晨,龚怡宏,陶小语. 图像处理的方法、装置、计算机可读存储介质[P]. 广东省：CN109934216B,2021-05-11.

[4]张玥,龚怡宏,石伟伟,程德,陶小语. 基于深度卷积神经网络的细粒度图像分类方法[P]. 陕西省：CN109002845B,2021-04-20.

[5]张玥,龚怡宏,石伟伟,程德,陶小语. 基于直推式半监督深度学习的图像分类方法[P]. 陕西省：CN109034205B,2021-02-02.

[6]石伟伟,王进军,龚怡宏,张世周. 基于结构相似度的非负稀疏编码的图像分类方法[P]. 陕西省：CN105184320B,2019-01-15.

[7]王进军,石伟伟,龚怡宏,张世周. 基于码书块稀疏的非负稀疏编码的图像特征提取方法[P]. 陕西省：CN105224944B,2018-10-30.

[8]龚怡宏,石伟伟,王进军,张世周. 基于线性判别分析准则的改进卷积神经网络性能的方法[P]. 陕西省：CN105243398B,2018-09-04.

[9]龚怡宏,张世周,王进军,石伟伟. 基于L21范数的提升卷积神经网络泛化能力的方法[P]. 陕西省：CN105160400B,2018-03-02.

[10]龚怡宏,王进军,张顺,王泽伦. 一种迭代更新轨迹模型的多目标跟踪方法[P]. 陕西省：CN103942536B,2017-04-26.

由国际知名出版商Springer Publisher出版英文专著2部

在国际顶尖学术期刊及学术会议上发表学术论文200余篇

发表论文总引用次数近23,000次

单篇最高引用3400余次

Google Scholar h-index 为 62

于CVPR 2010会议发表的论文获得该会议技术论文中最高引用率

于ACM SIGIR2003会议上发表的文章《Document Clustering Based on Non-Negative Matrix Factorization》获得ACM SIGIR执委会最具影响力文章荣誉提名奖

出版专著：

1、认知科学与脑机接口概述 龚怡宏，洪晓鹏 2020-10-01 西安电子科技大学出版社

2、Human-Centered Social Media Analytics Jinjun Wang，Yihong Gong, Douglas Gray 2014-03-25 Springer Publisher

3、Machine Learning for Multimedia Content Analysis Yihong Gong and Wei Xu 2007-10-01 Springer Publisher

4、Intelligent Image Databases: Towards Advanced Image Retrieval Yihong Gong 1998-07-01 Springer Publisher

   代表性论文 ：  

日期	论文题目	论文作者	发表载体	引用次数
2020	Bi-objective Continual Learning: Learning‘New’ while Consolidating‘Known’	Xiaoyu Tao, Xiaopeng Hong, Xinyuan Chang, Yihong Gong	AAAI
2020	Few-Shot Class-Incremental Learning (Oral Presentation)	Xiaoyu Tao, Xiaopeng Hong, Xinyuan Chang, Songlin Dong, Xing Wei, Yihong Gong	IEEE CVPR
2020	Multi-Target Multi-Camera Tracking by Tracklet-to-Target Assignment	Yuhang He,  Xing Wei, Xiaopeng Hong, Weiwei Shi, Yihong Gong	IEEE TIP
2019	Bayesian Loss for Crowd Count Estimation with Point Supervision (Oral Presentation)	Zhiheng Ma,  Xing Wei1, Xiaopeng Hong, Yihong Gong	IEEE ICCV	17
2018	Transductive Semi-Supervised Deep Learning Using Min-Max Features	Weiwei Shi, Yihong Gong, Chris Ding, Zhiheng Ma, Xiaoyu Tao, Nanning Zheng	ECCV	16
2017	Training DCNN by Combining Max-Margin, Max-Correlation Objectives, and Correntropy Loss for Multilabel Image Classification	Weiwei Shi, Yihong Gong,Xiaoyu Tao, Nanning Zheng	IEEE Transactions on Neural Networks and Learning Systems	18
2017	Improving CNN Performance Accuracies With Min–Max Objective	Weiwei Shi, Yihong Gong, Xiaoyu Tao, Jinjun Wang, Nanning Zheng	IEEE Transactions on Neural Networks and Learning Systems	24
2016	Improving DCNN Performance with Sparse Category-Selective Objective Function	Shizhou Zhang, Yihong Gong, Jinjun Wang	IJCAI	1
2016	Improving CNN Performance with Min-Max Objective	Weiwei Shi, Yihong Gong, Jinjun Wang	IJCAI	9
2016	Person re-identification by multi-channel parts-based cnn with improved triplet loss function	De Cheng, Yihong Gong, Sanping Zhou, Jinjun Wang, Nanning Zheng	IEEE CVPR	754
2015	Online Multi-Target Tracking with Unified Handling of Complex Scenarios	H Jiang, Wang, Y Gong, Z Chai, N Rong, N Zheng	IEEE TIP	12
2014	Multi-Target Tracking by Learning Local-to-Global Trajectory Models	S Zhang, J Wang, Z Wang, Y Gong and Y Liu	Elsevier Pattern Recognition	42
2010	Locality-constrained linear coding for image classification	J Wang, J Yang, K Yu, F Lv,  T Huang, Y Gong	IEEE CVPR	3431
2009	Linear spatial pyramid matching using sparse coding for image classification	J Yang, K Yu, Y Gong, T Huang	IEEE CVPR	3379
2009	Nonlinear learning using local coordinate coding	K Yu, T Zhang, Y Gong	NIPS	804
2007	Combining content and link for classification using matrix factorization	S Zhu, K Yu, Y Chi,  Y Gong	ACM SIGIR	277
2003	Document clustering based on non-negative matrix factorization	W Xu, X Liu, Y Gong	ACM SIGIR	1990
2002	Document clustering with cluster refinement and model selection capabilities	X Liu, Y Gong, W Xu,  S Zhu	ACM SIGIR	142
2002	Extract highlights from baseball game video with hidden Markov models	P Chang, M Han,  Y Gong	IEEE ICIP	191
2001	Generic text summarization using relevance measure and latent semantic analysis	Y Gong, X Liu	ACM SIGIR	934
2000	Video summarization using singular value decomposition	Y Gong, X Liu	IEEE CVPR	225
1999	Lessons learned from building a terabyte digital video library	HD Wactlar, MG Christel,  Y Gong, AG Hauptmann	IEEE Computer	290
1995	Automatic parsing of TV soccer programs	Y Gong, LT Sin, CH Chuan,  H Zhang, M Sakauchi	IEEE Multimedia	481

期刊文章：

1 Chang, Xinyuan; Ma, Zhiheng; Wei, Xing; Hong, Xiaopeng*; Gong, Yihong。Transductive semi-supervised metric learning for person re-identification .Pattern Recognition, 2020, 108: 107569.  

2 Zhang, Shun; Huang, Jia-Bin; Lim, Jongwoo; Gong, Yihong; Wang, Jinjun; Ahuja, Narendra; Yang, Ming-Hsuan*。Tracking Persons-of-Interest via Unsupervised Representation Adaptation .International Journal of Computer Vision, 2020, 128(1): 96-120.

3 He, Yuhang; Wei, Xing; Hong, Xiaopeng*; Shi, Weiwei; Gong, Yihong.Multi-Target Multi-Camera Tracking by Tracklet-to-Target Assignment .IEEE Transactions on Image Processing, 2020, 29: 5191-5205.

4 Li, Diangang; Gong, Yihong; Cheng, De*; Shi, Weiwei; Tao, Xiaoyu; Chang, Xinyuan.Consistency-Preserving deep hashing for fast person re-identification .Pattern Recognition, 2019, 94: 207-217.

5 Zhou, Sanping; Wang, Jinjun*; Meng, Deyu; Liang, Yudong; Gong, Yihong; Zheng, Nanning.Discriminative Feature Learning With Foreground Attention for Person Re-Identification .IEEE Transactions on Image Processing, 2019, 28(9): 4671-4684.

6 Zhang, Shizhou; Wang, Jinjun*; Shi, Weiwei; Gong, Yihong; Xia, Yong; Zhang, Yanning.Normalized Non-Negative Sparse Encoder for Fast Image Representation .IEEE Transactions on Circuits and Systems for Video Technology, 2019, 29(7): 1962-1972.

7 Shi, Weiwei; Gong, Yihong*; Tho, Xiaoyu; Cheng, De; Zheng, Nanning.Fine-Grained Image Classification Using Modified DCNNs Trained by Cascaded Softmax and Generalized Large-Margin Losses .IEEE Transactions on Neural Networks and Learning Systems, 2019, 30(3): 683-694.

8 张顺; 龚怡宏; 王进军.深度卷积神经网络的发展及其在计算机视觉领域的应用 .计算机学报, 2019, (03): 453-482. 

9 Shi Weiwei; Gong Yihong*; Tao Xiaoyu; Zheng Nanning.Training DCNN by Combining Max-Margin, Max-Correlation Objectives, and Correntropy Loss for Multilabel Image Classification .IEEE Transactions on Neural Networks and Learning Systems, 2018, 29(7): 2896-2908.

10 Cheng De; Gong Yihong*; Wang Jingjun; Zheng Nanning.Balanced Mixture of Deformable Part Models With Automatic Part Configurations .IEEE Transactions on Circuits and Systems for Video Technology, 2017, 27(9): 1962-1973.

11 张顺; 龚怡宏; 王进军.深度卷积神经网络的发展及其在计算机视觉领域的应用 .计算机学报, 2017, 1-29.

12 Cheng De*; Nie Feiping; Sun Jiande; Gong Yihong.A Weight-Adaptive Laplacian Embedding for Graph-Based Clustering .Neural Computation, 2017, 29(7): 1902-1918. 

13 Yu, Qinghua; Wang, Jinjun*; Zhang, Shizhou; Gong, Yihong; Zhao, Jizhong.Combining local and global hypotheses in deep neural network for multi-label image classification .NEUROCOMPUTING, 2017, 235: 38-45. 

14 Zhou, Sanping; Wang, Jinjun*; Zhang, Mengmeng; Cai, Qing; Gong, Yihong.Correntropy-based level set method for medical image segmentation and bias correction .NEUROCOMPUTING, 2017, 234: 216-229. 

15 Zhang, Shizhou; Wang, Jinjun; Tao, Xiaoyu; Gong, Yihong; Zheng, Nanning.Constructing Deep Sparse Coding Network for image classification .PATTERN RECOGNITION, 2017, 64: 130-140. 

16 龚怡宏.机器智能与人类智能的优势与劣势 .福建理论学习, 2016, (06): 45. 

17 Liang, Yudong; Wang, Jinjun*; Zhou, Sanping; Gong, Yihong; Zheng, Nanning.Incorporating image priors with deep convolutional neural networks for image super-resolution .Neurocomputing, 2016, 194: 340-347. 

18 Zhou, Sanping; Wang, Jinjun*; Zhang, Shun; Liang, Yudong; Gong, Yihong.Active contour model based on local and global intensity information for medical image segmentation .Neurocomputing, 2016, 186: 107-118. 

19 龚怡宏.人工智能是否终将超越人类智能——基于机器学习与人脑认知基本原理的探讨 .人民论坛·学术前沿, 2016, (07): 12-21. 

20 Cheng, De; Wang, Jinjun*; Wei, Xing; Gong, Yihong.Training mixture of weighted SVM for object detection using EM algorithm .NEUROCOMPUTING, 2015, 149: 473-482. 

21 Huaizu Jiang; Jinjun Wang; Yihong Gong; Na Rong; Zhenhua Chai; Nanning Zheng.Online Multi-Target Tracking with Unified Handling of Complex Scenarios .IEEE Transactions on Image Processing, 2015, 24(11): 3464-3477.  

22 Zelun Wang; Jinjun Wang; Shun Zhang; Yihong Gong.Visual Tracking based on Online Sparse Feature Learning .Image and Vision Computing, 2015, 38: 24-32. 

23 Shun Zhang; Jinjun Wang; Zelun Wang; Yihong Gong; Yuehu Liu.Multi-target tracking by learning local-to-global trajectory models .Pattern Recognition, 2015, 48(2): 580-590. 

24 Zhang, Shizhou; Wang, Jinjun*; Gong, Yihong; Zhang, Shun; Zhang, Xinzi; Lan, Xuguang.Image parsing by loopy dynamic programming .Neurocomputing, 2014, 145: 240-249. 

25 Li, Rui*; Han, Jinsong; Wang, Zhi; Zhao, Jizhong; Gong, Yihong; Zhang, Xiaobin.Tracer: Taming Anomalous Events with CRFID Tags for Trajectory Management .International Journal of Distributed Sensor Networks, 2013, 148353.    

26 De Cheng; Jinjun Wang; Xing Wei; Yihong Gong.Training mixture of weighted SVM for object detection using EM algorithm .Neurocomputing.

会议论文：

1 Jiang Bo; Tang Jin; Ding Chris; Gong Yihong; Luo Bin.Graph matching via multiplicative update algorithm .31^st Annual Conference on Neural Information Processing Systems, NIPS 2017, 2017-12-04 to 2017-12-09.

2 Liang, Yudong; Wang, Jinjun*; Wan, Xingyu; Gong, Yihong; Zheng, Nanning.Image Quality Assessment Using Similar Scene as Reference .14^th European Conference on Computer Vision (ECCV), 2016 to 2016-10-16.

3 Zhang, Shun; Gong, Yihong*; Huang, Jia-Bin; Lim, Jongwoo; Wang, Jinjun; Ahuja, Narendra; Yang, Ming-Hsuan.Tracking Persons-of-Interest via Adaptive Discriminative Features .14^th European Conference on Computer Vision (ECCV), 2016 to 2016-10-16.

4 Zhang, Shizhou*; Wang, Jinjun; Liang, Yudong; Gong, Yihong; Zheng, Nanning.MULTI-CUE NORMALIZED NON-NEGATIVE SPARSE ENCODER FOR IMAGE CLASSIFICATION .IEEE International Conference on Multimedia & Expo (ICME), 2015 to 2015-07-03.

5 Zhang, Shun*; Wang, Jinjun; Gong, Yihong; Zhang, Shizhou.FREE-HAND GESTURE CONTROL WITH "TOUCHABLE" VIRTUAL INTERFACE FOR HUMAN-3DTV INTERACTION .3DTV Conference The True Vision Capture Transmission and Display of 3D Video 3DTV CON, 2015 to 2015-07-10.

6 Hou, Qiqi*; Wang, Jinjun; Cheng, Lele; Gong, Yihong.FACIAL LANDMARK DETECTION VIA CASCADE MULTI-CHANNEL CONVOLUTIONAL NEURAL NETWORK .IEEE International Conference on Image Processing (ICIP), 2015 to 2015-09-30.

7 Liang, Yudong*; Wang, Jinjun; Zhang, Shizhou; Gong, Yihong.INCORPORATING IMAGE DEGENERATION MODELING WITH MULTITASK LEARNING FOR IMAGE SUPER-RESOLUTION .IEEE International Conference on Image Processing (ICIP), 2015 to 2015-09-30. 

8 Shi, Dahu*; Zhang, Shun; Wang, Jinjun; Gong, Yihong.Detection and Association based Multi-target Tracking in Surveillance Video .IEEE First International Conference on Multimedia Big Data, 2015 to 2015-04-22.

9 Nan Liu; Jinjun Wang; Yihong Gong.Deep Self-Organizing Map for Visual Classification .The 2015 International Joint Conference on Neural Networks, Ireland, 2015-07-11 to 2015-07-16.

10 De Cheng; Jinjun Wang; Xing Wei; Nan Liu; Shizhou Zhang; Yihong Gong; Nanning Zheng.Cascade object detection with complementaryfeatures and algorithms .IEEE Conference on Semantic Computation, United States, 2015-02-07 to 2015-02-09.

11 Xinzi Zhang; Jinjun Wang; Yihong Gong; Shizhou Zhang; Shun Zhang.Low Computation Face Verification Using Class Center Analysis .IEEE International Conference on Pattern Recognition (ICPR), 2014, Sweden, 2014-08-24 to 2014-08-28.

12 Liang Yudong; Wang Jinjun*; Zhang Shizhou; Gong Yihong.Learning Visual Co-Occurrence with Auto-Encoder for Image Super-Resolution .Annual Summit and Conference of Asia-Pacific-Signal-and-Information-Processing-Association (APSIPA), 2014-12-09 To 2014-12-12.

荣誉奖励：

1、2012年入选中组部“****”。

2、2003年度NEC技术发明奖： 表彰我领导技术团队成功研发多功能高精度自动视频监控技术。

3、2006年度NEC技术商品化奖： 表彰我领导技术团队成功研发世界上第一个商用人物年龄﹒性别识别技术，并帮助产品开发部门将其转化为正式产品。

4、2007年度NEC杰出领导奖： 表彰我作为NEC美国研究院硅谷分院院长的杰出领导能力。

5、2007年度NEC技术商品化奖： 表彰我领导技术团队成功研发世界上第一个商用人流自动追踪和计数技术，并帮助产品开发部门将其转化为正式产品。

6、2007年10月 美国与日本多家主流电视台对我带领团队研发的世界上第一个商用人物年龄性别识别系统作了专题新闻报道.

7、2008 NEC Soft总裁感谢状： 表彰我对NEC Soft公司产品研发工作所做的杰出贡献。

8、2008 TRECVID Event Detection国际竞赛3项第一： 带领科研团队成功研发了高精度人物动作自动识别系统，参加了3个动作识别竞赛项目：打手机，放下行李，用手指某处，取得了所有参赛项目的冠军(详情请阅http://www-nlpir.nist.gov/projects/tv2008/tv2008.html#4.1)。

9、2009年PASCAL VOC图像分类国际竞赛总冠军： 带领科研团队成功研发了高精度图像内容自动分类系统，取得了图像分类竞赛的总冠军。我的团队以识别精度超越第2名5%的优势取得了压倒性的胜利(详情请阅http://www.comp.leeds.ac.uk/me/VOC2009/prelimres/网页中的Classification Results: VOC2009 data表格)。

10、2009 TRECVID Event Detection国际竞赛3项第一： 继2008 TRECVID Event Detection国际竞赛之后，带领团队对人物动作自动识别系统做了进一步的改进，又参加了2009 TRECVID Event Detection国际竞赛的3个同样的动作识别竞赛项目：打手机，放下行李，用手指某处，并蝉联了所有参赛项目的冠军(详情请阅http://www-nlpir.nist.gov/projects/tvpubs/tv9.slides/tv9.ed.slides.pdf 中的40，41 和45页)。    
 

11、2012年西安交大特聘教授  入选西安交大电信学院特聘教授。  

12、2014年全国研究生智慧城市视频分析技术挑战赛多项冠亚军： 率队在视频分析六项比赛中包揽“行人检测”、“多类对象检测”、“单摄像头对象追踪”、“人脸检测”四项一等奖，以及“单摄像头对象追踪”二等奖。

13、2015 SIGIR Test of Time Awards Honorable Mention 表彰我所发表的论文《Document clustering based on non-negative matrix factorization》在信息检索研究领域的长远影响。

14、2017年全国研究生智慧城市视频分析技术挑战赛多项冠亚军，继2014年后，本团队又在2017年度比赛中获得两项第一、两项第二的团队最好成绩。

15、本人获颁中国产学研合作创新个人奖，2017-11-12。

16、2018 IEEE Fellow 于2017年11月获选为美国电气电子工程学会会士。

17、本人入选AI2000 最具影响力学者Top100名单， 2020-03-16。

 

视觉认知的脑工作机理及高级脑机交互关键技术研究
——西安交通大学“**计划”学者龚怡宏教授承担的国家973计划项目成果

2017-01-16

 

2014年，西安交通大学“****”学者龚怡宏教授申请到国家重点基础研究发展计划（973计划）项目“视觉认知的脑工作机理及高级脑机交互关键技术研究”，资助经费3 500万元。该项目由国内八家在脑认知科学、心理学、人工智能与智能机器人等领域具有坚实研究基础的高校及科研院所共同承担，分别为西安交通大学、中科院生物物理所、中科院心理所、东南大学、华南理工大学、国防科技大学、中科院深圳先进院、安徽大学。项目组集中在“脑信号数据获取技术及分析规范”“脑视觉信息编解码”“视觉认知试验与计算模型”“高级脑机交互验证平台、评估体系与示范应用”四个方面开展研究工作，两年来在上述领域取得多项成果，成功达成各项任务指标。项目目前已发表论文163篇（其中SCI期刊论文83篇），达到5年总体目标的82%。在人才培养方面，培养研究生55人，博士后3人，省部级人才计划7人。

一、脑信号数据获取技术及分析规范

项目组通过自主设计和研发多通道并行发射接收线圈，多频带同时成像技术、量化SWI成像算法、基于GPU的图像重建加速等技术，成功实现了国际高时空分辨率的BOLD功能成像——全脑功能磁共振成像，达到了720ms至2mm以及900ms至1.5mm两种时空分辨率，单层功能磁共振实现了30ms的最高时间分辨率。这项研究成果为项目组获取高时空分别率的磁共振图像提供了技术保障。

当前，非侵入式脑机接口主要基于脑电（EEG）信号，其优点是设备简单，获取成本低。 然而，脑电信号最高只能达到10mm左右的空间分辨率，信号受颅骨、头皮等干扰，信噪比很低。脑磁图（MEG）作为下一代脑信号获取手段，正受到学术界的广泛关注。与EEG信号相比，MEG信号不仅时空分辨率高出一个数量级，而且还具有信噪比高，能提取更复杂时空信息等优势。然而传统的MEG检测手段（如超导量子干涉仪）必须在磁屏蔽环境中使用，使得检测设备过于庞大、昂贵，限制了其在更大范围的推广应用。如何设计简单、易用且稳定可靠的脑信号检测技术一直是脑机交互领域的一个重要研究方向，是脑机接口从实验室环境走向实用化的关键一步。两年来，项目组研发了基于巨磁阻抗（GMI）原理的脑磁信号传感器功能样机，经过多个版本的迭代升级（如图1所示），样机的分辨率已经达到100pT，性能上大大超越了目前最高性能的商用GMI传感器（日本爱知钢铁公司生产）。理论上，通过进一步优化设计，把传感器分辨率提高到10pT左右，就可以有效测量到脑磁信号。

此外，项目组联合18个国家的36家单位创立了“国际神经影像信度与可重复性联盟”（CoRR）（图2），共享1 629人的万余个多模态磁共振成像重测数据。CoRR数据库中，每个被试都拥有两次或两次以上的磁共振成像数据，是当前国际上数据量较大、应用较广的重测数据库。介绍CoRR数据库的文章浏览量已超过万次，在同时期发表的16万篇文章中，在线关注度位居前2%。CoRR数据库的建立，为项目组其他课题的研究提供了宝贵的脑神经影像大数据。

二、脑视觉信息编解码

图3解释了视觉信息编码模型的工作原理。给定一个视觉刺激并用功能磁共振扫描被试的视皮层，能够得到相应的磁共振响应。编码模型的目的就是寻找一个映射函数，利用输入的视觉刺激来预测磁共振的响应。如果编码模型的预测足够准确，那么当输入一个磁共振响应时，就可以预测出对应的视觉刺激。

当前，主流编码模型大都属于单体素模型。给定原始图像，通过特征提取获得特征图像FI。编码模型利用事先得到的映射函数 vi=fi (FI)+ei 来预测视皮层某个特定体素vi的响应信号。由于单体素模型没有考虑大脑皮层体素间的相互关联性，编码精度偏低。项目组提出的HS体素编码模型 vi=fi (FI)+gi (hi)+ei 通过导入隐状态hi，在预测体素的响应信号时考虑了体素间的相互关联性。大量对比实验显示，HS体素编码模型的预测精度与传统单体素模型相比，有5%左右的性能提升。高精度脑信息编码模型对实现脑机交互系统具有重要意义。

此外，项目组还针对人脑动作意图理解的神经机制开展研究，取得了系列研究成果。图4展示了研究中所使用的３种视频片段（视觉刺激），分别代表３种不同动作意图。这３种视频片段按照休息1.5秒，观看2.5秒的规则，随机反复地播放给被试，同时测量被试的脑电信号。实验发现，这些视觉刺激在170毫秒、300毫秒、400～600毫秒时段分别在不同脑区诱发了３种不同的脑电信号，这３种脑电信号分别对应早期的语义识别、中期的注意分配及晚期的动作意图理解。项目组还从实验中发现，大脑激活存在一个从左侧大脑到右侧大脑顺序激活的现象。对于明显意图，存在较多左侧激活、较少右侧激活的趋势。对于不明显意图，上述趋势正好相反（如图5所示）。

三、视觉认知试验与计算模型

项目组通过与神经科学、心理学、脑认知科学等领域的专家进行深度合作，尝试把人脑感知与认知机理的研究成果转化为计算模型，并取得系列研究成果。

1．基于人脑视觉通道流形解离性的神经网络训练模型

当一个物体发生位置、角度、形状、光照等变化时，描述它的特征向量也发生相应变化，在高维特征空间里形成一个相对低维的流形。在人脑视觉通路的下层，流形较为曲折，属于不同物体的流形相互纠缠在一起。经过人脑视觉通路的逐层非线性变化，到达上层后流形变得比较平坦，对应不同物体的流形很容易被分开（见图6）。

基于人脑视觉通道的上述流形解离特性，项目组提出了Min-Max目标函数。利用该目标函数训练的神经网络能够同时达到以下两个目标：（1）最小化每个物体流形的紧凑度；（2）最大化不同流形间的距离。

2．基于人脑视觉通道类别选择性的神经网络训练模型

大量实验研究表明，人脑视觉通道IT层的神经元具有以下特性：（1）神经元的响应与物体类别之间不存在1:1的对应关系；（2）每个神经元只对自然界10%左右的物体类别发生响应，对其它物体类别都处于抑制状态（见图7）。为了模拟人脑视觉通道的这一特性，项目组提出了基于L2,1范数的目标函数。利用该目标函数训练神经网络，能够使其输出层的神经元具有以下特性：（1）对某个类别的所有图像，或者都响应或者都不响应；（2）只对少数几个类别的图像有所响应，对大多数类别的图像都保持抑制状态。

3．对比实验

项目组针对所提出的上述两种新型目标函数进行了详尽的性能对比实验。实验中采用了Quick-CNN神经网络。该网络拥有5层结构：3个卷积层，2个全连接层，是图像识别领域里较常用的一款神经网络。我们分别利用传统的SoftMax目标函数和项目组提出的Min-Max、基于L2,1范数的目标函数对Quick-CNN进行训练，利用CIFA-10、CIFA-100、SVHN三个标准测试集对训练得到的模型进行图像分类精度测试。表1中的对比实验结果表明，与传统SoftMax目标函数相比，利用Min-Max和基于L2,1范数的目标函数对神经网络进行训练，能够提升网络的图像分类精度4%～5%。需要特别指出的是，这个幅度的精度提升是在不改变神经网络结构的情况下实现的。这项研究成果不仅具有学术与应用价值，而且也为未来深度学习神经网络的研究开辟了一个新的研究思路。

Method	CIFAR-10	CIFAR-100	SVHN
Quick-CNN	23.47	55.87	8.92
Quick-CNN +Min-Max	17.59	50.83	4.85
Quick-CNN + L2,1-norm	18.30	52.35	5.33

四、高级脑机交互验证平台

项目组在高级脑机交互方面进行了初步尝试，研发了自动驾驶脑控轮椅1.0版，并正在成都八一康复医院为严重脊髓损伤患者提供试用（见图8）。该轮椅工作原理如下：（1）在房间内预设若干目标，并给每个目标标号；（2）在电脑屏幕上显示BCI交互界面；（3）当被试注视交互界面的某个号码键时，脑电解码器判读出用户注视的号码；（4）智能轮椅从地图中找出对应目标的位置，规划最佳路径，自动移动到指定目标。

传统脑控轮椅需要用户通过BCI交互界面不断向轮椅提供运动指令，长时间控制轮椅会给残疾人士带来很大的精神负担。项目组研发的上述轮椅只需用户利用BCI交互界面指定想去的目的地，剩下的工作全部由轮椅自动完成。

目前，项目组正在研发自动驾驶脑控轮椅2.0版（见图9）。该轮椅将通过以下人机协同的方式进行工作：（1）脑电解码器2.0版判读用户注视的目标；（2）环境认知模块与激光雷达共同识别出目标的精确位置；（3）智能轮椅找出最佳路径，自动移动到指定目标。该轮椅不需事先预设目标和给目标标号，也不需要用户通过BCI交互界面向轮椅发出指令。自动驾驶脑控轮椅2.0版与1.0版最大的不同，是能够判断用户所注视的目标，并自动识别出目标的位置。该系统一旦研发成功，将显著提高人机交互效率，极大地减轻用户大脑负担，并为脑机交互系统的更广泛应用打开机会窗口。

龚怡宏教授科研攻关孜孜不倦，对待教学和学生也一样严谨认真。多年来，龚怡宏教授一直致力于加强国内外院校和科研机构的合作与交流，鼓励学生在读期间出国交流，迈向国际高水平的台阶。他积极邀请国外专家学者来校开展学术交流活动，先后邀请美国卡内基梅隆大学Alex Hauptmann教授等众多学者进行讲座交流，与伊利诺伊大学香槟分校、卡耐基梅隆大学、佐治亚理工学院、哥伦比亚大学、日本东京大学、IBM研究院和微软研究院等国际上多所著名大学及研究机构的著名教授和优秀学者建立了长期的合作关系。龚怡宏教授希望以自己多年在国外积累的技术与人脉渠道，帮助学生放眼世界，把握学科前沿，提升国际化科研思想意识，为学生们搭建一座跨国际的学术交流桥梁，从而为学科建设尽更多的力量，不断推进学科与世界著名大学和研究机构的科研合作。

 

东渡西归 科研报国：记西安交大“千人学者”龚怡宏 

 

一张黑白泛黄的博士同学合影摄于1989年的东京大学，一张色彩绚丽的师生合影摄于2015年的西安交通大学，这两张照片静静摆放在“***”学者、电信学院人工智能与机器人研究所龚怡宏教授的办公桌上，跨越26年的照片展示了主人公的人生轨迹。

1983年4月，东渡日本求学于东京大学电气电子工程学科的龚怡宏，历经九年苦读求索创新，终获博士学位。毕业之后，龚怡宏先后在南洋理工大学、卡耐基梅隆大学计算机学院任教，曾任NEC中国研究院首席科学家。2012年4月，作为中*部“***”专家，龚怡宏全职受聘于西安交通大学，在这个百年学府开始书写人生事业的新篇章。

心之所向 新天地新起点 

龚怡宏是国际知名的多媒体研究专家，是世界上最早从事多媒体内容分析的学者之一。多年来，他一直从事多媒体视频图像识别与人工智能技术的研究，在利用隐语义空间进行多媒体内容分析、运动视频复杂场景分析、图像特征向量优化等领域开创了若干新的研究方向，提出创新的理论方法与关键技术，成为许多后续研究的理论扩充及比较对象，在国际同行中产生重要学术影响。

“科研成果应用于实际产品中并提高技术水平才是最终目的。”龚怡宏一直高度重视产学研用结合工作，力促研究成果的转移转化。目前，龚怡宏已拥有19项发明或其它类型专利，他是带领团队成功开发世界上第一个商用人物年龄性别识别技术、第一个商用人流自动追踪和计数技术的学术领头人，并帮助产品开发或生产部门将其转化为正式产品。龚怡宏主持研发的多功能高精度自动视频监控核心技术及系统，曾居世界智能视频监控领域市场占有率第二。
 

西安交通大学“**计划”学者、电信学院人工智能与机器人研究所龚怡宏教授 

作为全球信息科学专业领域的领军人物，龚怡宏总会收到来自知名大学的橄榄枝，经过慎重考虑，他选择了该校。

“我和西安交大有特别的缘分。”龚怡宏谈道，在日本求学时，他与当时在日本庆应大学留学的该校郑南宁教授因在同一栋宿舍楼居住而相识，从而对该校有了初始且深刻的印象。

“最吸引我的是学校对科研和人才的重视。”归国前，龚怡宏详细了解了该校各方面情况，他对学校的学术环境、学科建设都很有信心。该校在海外华人学者圈中良好的口碑也让龚怡宏心向往之，“很多学者朋友都对交大称赞有加，建议我来开拓事业。”

成为该校一员后，龚怡宏获得了施展学术理想的舞台。2012年，加入学校第一年，龚怡宏参与核高基重大项目1项，教育部“111”引智计划1项，主持横向研究课题1项。2013年，作为首席科学家，申请到国家自然科学基金重点项目“基于选择性注意的交叉感知信息认知计算”，资助经费300万元。2014年，作为首席科学家申请到国家973项目“视觉认知的脑工作机理及高级脑机交互关键技术研究”，资助经费3500万元。

三年多来，龚怡宏在大脑工作机理、视觉认知机理的关键技术——目标识别、单摄像头多目标追踪关键技术等方面都取得了创新性的研究成果。“学校带给我这么多科研报国的机会和人生事业发展的平台，我一定能做得更好，走得更远！”龚怡宏目光如炬，语气坚定。

严格认真 科研攻关孜孜不倦 

行色匆匆，随身背着笔记本电脑的龚怡宏，留给人们的身影总是那样的忙碌，那样快节奏。“这是我的移动办公室，便于及时处理工作和科研问题。”

科研助理高淑婵告诉记者，龚怡宏每次出差回来都是尽快赶回实验室，抓紧时间工作。即便从国外回来，也不会专程花时间倒时差。

龚怡宏的父母在北京生活，太太和孩子在美国工作，他长期在学校任教，与家人聚少离多。很多时候为了工作，他都默默放弃了与家人团聚的机会。2015年中秋节前夕，龚怡宏恰好在北京出差，学生们都以为龚怡宏会陪父母过完中秋再回西安，可中秋节当天在实验室里又看见了龚怡宏忙碌的身影。“做科研就要全身心投入，又承担这么重要的课题，只怕时间不够用，哪顾得上什么节假日。”龚怡宏笑着说。

龚怡宏团队每周都至少召开一次实验室组会。组会上他并不只是倾听学生的科研汇报，还时常提出一些问题，与学生交流、讨论。“龚老师经常出差，好多次他都是开完组会，直接拉着行李箱直奔机场。”博士生陶小语说。  

龚怡宏教授指导、把关学生的实验方案 

学生每次做实验时，龚怡宏都会亲自询问、检查实验流程，认真把关实验方案，提出有益建议。实验完成后，他都会叫来学生，一起对比、分析每一个数据，寻找创新之处。当有学生说“我感觉这个算法变好了。”龚怡宏就会追问到底“变好了体现在哪里？其精度、查全率又是多少？”

“从事自然科学要有严格的思维方式、缜密的逻辑。不能只凭感觉，要实实在在、踏踏实实地用数据说话。”龚怡宏严肃而认真地说。

他的学生刘楠、程德、石大虎等都曾获过国家奖学金。毕业生中有在美国、日本等国知名学府继续深造的，也有入职阿里巴巴、百度等世界品牌500强公司。

精勤育人 为学生搭建国际桥梁 

龚怡宏对待学生的学业方面非常负责。博二学生石伟伟回忆说，即便龚怡宏在外出差，但只要将问题发给他，总能很快收到回复。曾有一次，石伟伟在晚上10点多将论文初稿发给老师，第二天清晨，当石伟伟打开电子邮箱时，第一眼便看见邮箱里躺着一封老师改好的论文邮件。石伟伟再仔细一看，这封邮件的发送时间竟是凌晨3点。“我特别感动，龚老师熬夜给我改论文，逐字逐句修改得特别仔细，大到论文的整体框架，小到一个个标点符号。”

龚怡宏告诉记者，“我希望培养学生主动、独立思考，发现问题、解决问题的精神。”他认为，一个优秀的学生需要必备两种素质：一是有恒心与耐久力，从事自然科学研究必须耐得住寂寞，忍受无数次实验失败的打击。“不经历实验失败的风雨，如何见到灿烂的科学彩虹？”二是有发现问题、解决问题的能力。“一流的学者发现问题，二流的学者解决问题，三流的学者讨论问题。”

致力于培养学生自主寻找、发现科学难题的思维及解决问题实质的能力，是龚怡宏追求的目标，他一直鼓励和要求学生不断挑战自我。2014年，龚怡宏亲自率队，带领三个学生团队参加全国研究生智慧城市技术与创意设计大赛。历经数轮比拼，该校参赛的学生团队在近百支参赛队伍中脱颖而出。在视频分析挑战赛的六项比赛中包揽“行人检测”“多类对象检测”“单摄像头对象追踪”“人脸检测”四项一等奖以及一项二等奖。特别是在单摄像头对象追踪比赛项目上，研究生程德、魏星、刘楠、张世周团队以高出第二名几乎一倍的精度赢取了压倒性胜利。为了表彰其优异成绩，大会特地为团队颁发了特等奖，龚怡宏同时也获得了优秀指导教师称号。

龚怡宏一直有个心愿，希望以自己多年在国外积累的技术与人脉渠道，推进学科与世界著名大学的科研合作，为学科建设尽更多的力量。为此，他积极邀请国外知名教授来校开展学术交流活动，先后邀请美国卡内基梅隆大学Alex Hauptmann教授等众多学者进行讲座交流，帮助学生把握学科前沿，提升国际化科研思想意识。

龚怡宏还联系了众多国内外相关学科的专家学者，为学生们搭建了一座跨国际的学术交流桥梁。当学生遇见问题需要相关领域学者帮助时，可以随时给国内外知名教授发送邮件，身处西安也能放眼世界，探索前沿。

龚怡宏鼓励学生出国交流，迈向国际高水平的台阶。当学生读到博士三、四年级时，龚怡宏都会主动为学生联系国外高校的教授，详细撰写推荐信。“我希望学生能感受国外的科研氛围，学习更先进的科研方法，也收获更多的人生经验。”龚怡宏认真地说。

来源： 西安交通大学   原文链接：http://news.xjtu.edu.cn/info/1033/59236.htm