草图识别综述
草图是一种原始的数据符号, 反映着人的大脑对于世界的认知. 草图由人创作, 基于人的认知对事物与
人的相关信息进行表达, 没有任何草图学习经历的人也可以通过触控与笔设备使用草图. 图像与文字是传递
信息的主要载体, 而草图是一种简洁的图像, 同时, 按文字的图画起源说[1], 草图的出现要早于文字. 与其他
复杂的图像相比, 草图以其固有的简洁性, 在表达复杂构思与新型想法时, 可以通过更小的数据量传达相近
的信息量. 与各式各样的语言相比, 草图可以基于相同的形式快速表达复杂的思想, 避免由于使用不同语言
而产生的交流障碍. 随着人机交互技术的发展, 电子设备与触摸屏得到大力的推广和普及, 基于笔设备与触
摸屏的人机交互应用也越来越多, 手绘草图在计算机上的应用也随之越来越多. 目前, 手绘草图已经成了人
们快速表达如流程图、思维脑图、原型设计等复杂思想的一种常用工具, 在汽车设计、工业设计、建筑设计、
机械工程设计上发挥着巨大作用[2]. 与基于 WIMP (Window, Icon, Menu, Pointer)的交互模型相比, 基于草图的
交互模型 SBIM (sketch-based interactive model)在表达即时想法时具有更高的效率, 可以提高会议与交流的效
率, 也可以加快 3D 模型设计. 依据用途的不同, 可以将草图粗略地分为卡通草图与设计草图. 卡通草图指主
要面向漫画与动画领域的艺术作品, 通过简洁、幽默、风趣、夸张、比喻等手法设计的绘画作品; 设计草图
指主要面向工业与建筑领域的专业作品, 具有严格的规范与专业的设计流程. 另外, 依据维度的不同, 可以将
草图分为 2D 草图和 3D 草图; 依据颜色的不同, 可以将草图分为黑白、灰度与彩色草图.
本文主要针对的草图为基于线条的黑白手绘草图(free-hand sketch), 即通过人工制作仅由黑白两种颜色
的笔画与相应空白构成的草图. 图 1 展示了黑白手绘草图与相关图像的区别. 第 1 行黑白手绘草图、符号标
志图像、边缘图像与图表草图强调线条与形状, 其中, 黑白手绘草图由存在随机抖动的线条构成, 是人脑对于
某个物体或概念呈现, 如日月星辰等; 符号标志图像以颜色、几何形状为主要特征, 用以表达某种事物或概
念, 具有很强的规范性, 如常见的天气、交通标志符号; 边缘图像呈现物体的轮廓, 可以由自然图像通过边缘
抽取技术获得; 图表草图通过手工绘制的流程图、树状图、统计图等. 第 2 行彩色草图、线条艺术图像、卡
通图像与自然图像强调颜色与区域, 其中, 彩色草图图像以颜色、线条与区域为主要特征, 常见于水彩画、儿
童画等美术作品; 线条艺术图像以线条与区域为主要特征, 常见于铅笔画、中国画; 卡通图像以文字与拟人
化、夸张化的事物图像为主要特征, 常见于漫画、动画与吉祥物之中; 自然图像则是通过相机数字化的真实
世界图像, 由像素点构成, 以颜色、位置与亮度为主要特征. 第 3 行草图图案、工业草图、建筑草图与地图草
图强调多目标与场景, 其中, 草图图案图像以点、线、面为主要特征, 对少数目标运用对称与重复等手段构成
场景, 体现出相应的规律性与艺术性以符合人类的审美观; 工业草图由多个零件的草图与相应文字规格注释
构成, 具有严格的制作规范, 需要用直尺等工具来避免线条抖动; 建筑草图则是由多个建筑物单元与相应的
文字规格注释构成, 同样需要工具来保证制作的规范性; 草图地图是草图与地理地图的结合, 带有丰富的地
理元素如地形地貌等. 除列出的图像外, 卫星图像、红外图像与文字图像等也可以与手绘草图相关联. 基于黑
白手绘草图, 经过规范化、组合与注释可以获得符号标志图像、草图地图、工业草图与建筑草图, 通过平移
扩充、线条上色、区域上色、区域填充与文字添加等步骤, 可以获得图案图像、彩色草图、线条艺术和卡通
图像等复杂图像, 而利用训练好的 GAN (generative adversarial network)可以通过黑白手绘草图或边缘图像生
成与编辑自然图像[3−5]. 黑白手绘草图与其他图像具有一定的结构与语义相关性, 但也有其独有的多样化、稀
疏与简洁等特点, 因此, 针对黑白手绘草图的应用需要依据草图特点进行展开. 在本文中, 如无特殊说明, “草
图”均指“黑白手绘草图”.
