浙江理工大学虚拟现实实验室  邱克 杨文珍

触觉是人类认知世界的基本感知之一，是人类与世界直接交互的首要通道。目前，虚拟现实技术虽然已经能够在博物馆中建立惟妙惟肖的三维视觉环境，但是依然不能满足观众日益高涨的互动体验需求。观众对博物馆藏品“可望而不可及”的现状非常不满，很渴望能在看到藏品的同时，还能够触摸到藏品，感知藏品的软硬、纹理、粗糙度和柔韧性等其他非视觉信息，更深层次地理解藏品的内涵。

【研究背景】

第一，虚拟现实的需求。在虚拟环境里面所追求的多感知性，对于我们现在的虚拟来说，三维视觉、立体呈现给人的感觉是非常不错的。那么人在追求虚拟环境当中能不能提供更多的感知呢？其中触觉感知是最近研究的比较热门的一个话题。从事触觉感知研究开始于1994年，慢慢的做到现在也已20来年，回想这20来年，触觉感知到底给我们的生活带来了多少变化呢？对于现在的交互、现在的数字时代来说又有多少变化呢？几乎还是体现不到，因为目前来说做触觉感知的很大一部分运用在医学的手术模拟这一块。对手术模拟这一块也做了很多年的研究，直到现在也还是存在很多问题，国内国外都是如此。触觉感知是虚拟现实的一个需求。

3D Systems开放的力反馈设备系统应用在医疗行业

 第二，电子商务的需求。我们面临的数字环境里面目前非常流行的就是电子商务，我们在网上购物是所面对的都是图片，图片的内容我们是可以看见的，但是摸不着。比如说模特秀，由于摸不着，所以你买回来可以就是右边的样子，为什么呢？

因为你摸不到它的材质，如果能摸到的话，那么很可能你在选购的时候会更慎重一些。但是要达到真正摸到网上的图片也是有难度的，我们有这个目标在，想摸一摸图片的内容但是和能真实的摸到图片还是有很大的区别，这里的空间还是挺大的，但是至少我们突破了图片还是可以用来摸一摸的这样一个概念。

第三，盲人认知的需求。对于盲人来说，文字是可以听的，文字打印出来成为盲文字也是可以用来摸的，但是对于图片来说，盲人对于图片是毫无办法的，我们怎么让盲人摸到这样的数字图片呢？如果可以做到这一点，那么对于盲人整个的生活会产生非常积极性的影响。

第四，博物馆的需求。在博物馆里面会看到很多的珍奇珍贵的文物，这些文物基本上都是只能看，不能摸的，很多游客都会想去碰一碰，摸一摸，然而都只能想一想。这样一下子就把人和文物之间，人和历史之间隔离开来，这样的一个需求也是非常明确的，我们在这个系统里面首先就是把它运用到这个领域的进行一些尝试。

第五，感情交流的需求。我们感情交流的一些需求，情感的一些需求。比如说，年轻的小伙子谈恋爱，跟女朋友，两地相隔，聊天只能通过视频，偶尔想抚摸一下，也要千里迢迢；小孩子长大了，离开母亲了，在外地求学离开家庭了，通过视频聊天，但是总有一种冲动想去拥抱抚摸一下自己的骨肉；再有甚者，自己的亲人过世，你能够怀念他们的方式就是看看图片，再也摸不到逝者的脸庞，那么通过什么方式能够从图像里感知这些信息呢？当然，这样的具有图片触摸的需求还有很多。 

那么数字图像中的对象摸起来是一种什么感觉？这个事件的想象空间和应用前景都很大，我们做触觉系统的都一直在讨论这个问题，包括我们做人机交互的也是如此。我们人机交互在863计划中总是排不到一个重要的地位，不能引领一个行业，至少现在觉得在某一些方面上有一些突破，有存在着一些重大的需求，能够改变我们的生活。我个人觉得如果图像能够触摸并且能够普及化的话，这样对人类的生活会产生一定的影响。现在主要的问题就是图像只能看，不能摸，这样一个问题也不是我们第一个发现的，人们也做过一些相应的研究工作。

一、什么是虚拟触觉技术

在数字化快速发展的时代，虚拟触觉技术应运而生，它可以让观众触摸博物馆“藏品”，让藏品变得触手可及。

虚拟触觉技术属于计算机、机械、测控、力学、心理学和认知学等多学科交叉领域，能让人们在通过触摸、按压或牵扯等动作操作虚拟物体时，不仅能看到虚拟物体的逼真变形，而且能感受到虚拟物体的逼真触感，感知到虚拟物体的力学物理属性。

在博物馆互动体验中，这种技术的革命性在于把指令式人机交互变成了触觉式人机交互，使得观众可以“真实地”触摸到平时不可能触摸的藏品。在视觉、触觉、人脑记忆和构想的综合作用下，观众能触摸和操控“藏品”，给人们提供前所未有的交互体验。

虚拟触觉技术添补了目前国内外博物馆触觉感知藏品的空白，可以让观众通过触觉认知和感受藏品，使得观众对藏品有更深层次的理解，可以极大地增强博物馆展览的互动性、沉浸性、构想性和乐趣性，满足观众触觉感知藏品的需求，增强博物馆的综合竞争力。

二、面向博物馆互动体验的虚拟触觉技术研发和推广

在国家863计划(2013AA013703)、国家自然科学重点基金(613320 17)、浙江省自然科学基金(LY14F020048)资助下，浙江理工大学虚拟现实实验室和上海尚特文化传播有限公司致力于虚拟触觉技术在国内外博物馆互动体验的研究和推广应用，目前已创新研发出我国具有独立自主知识产权的图像触觉感知系统，其核心技术包括基于质子弹簧模型的柔性纹理图像力触觉生成方法，基于质子弹簧模型的柔性纹理图像力触觉生成方法，双交互触点力触觉生成方法，基于五要素的刚性纹理图像力触觉生成方法等。

图像触觉感知系统可以实现图像的形状、纹理和柔性等多模式感知，突破了以往图像只能视觉感知的界限，使得图像不仅仅看得见，还能摸得到。此系统能够广泛应用于博物馆的互动体验、文化传承与传播、视力障碍患者(盲人)的学习、教育、影视、军事、游戏娱乐等领域，社会效益和经济效益前景广阔。 

上图，虚拟织物的实时形变和触觉感知

 

虚拟织物的触觉感知，如图1所示，展示了图像触觉感知系统的功能。用户可以用两个手指操作和感知虚拟织物，在触摸、按压或牵扯虚拟织物时，既能观察到虚拟织物的逼真变形，又能感受到虚拟织物的手感，体验逼真的虚拟织物触摸过程。同理，应用于博物馆的互动体验，观众可以“隔空”感受古代织物的纹理和质地，甚至可以亲手触摸古代皇帝所穿龙袍的缂丝织绣纹样。

 通过力反馈设备Touch感知这个雕塑的头发、脸蛋儿、鼻子、嘴巴，以及小狗的外体形状，感知雕塑表面的纹理细节，粗糙度及深浅度，可以身临其境触摸到这个物体。

 

上图：图像触觉感知系统可以触觉感知多种博物馆藏品

当然，图像触觉感知系统也可以感知博物馆各种各样的藏品，如碑刻的雄健粗狂、雕塑的刚劲柔滑、铜鼎的神秘纹饰、油画的气韵笔触、书法和国画的艺术美等等，如上图所示。图像触觉感知系统具有良好的实时性、通用性和稳定性。

书法作品在中国的文物界中有着重要地位，书法作品在展览馆中永远无法触摸到。

上图，孙中山先生写的“天下为公”笔迹，如何让观众临摹孙中山先生的墨宝？用虚拟触觉系统完全可以实现。

在2014年博物馆及相关产品与技术博览会(博博会)上，上海尚特文化传播有限公司展出了图像触觉感知系统，如图3所示，系国内首次将虚拟触觉技术应用于博物馆的互动体验。在2015年科普场馆主题展览高峰论坛上，参会者不仅能视觉感知大连金石滩生命奥秘博物馆的鲨鱼，也能通过图像触觉感知系统（3D Systems Touch力反馈设备）触摸到“鲨鱼”，如下图所示，受到参会者的认可和好评。

上图：大连金石滩生命奥秘博物馆隋鸿锦馆长正在通过图像触觉感知系统3D Systems Touch力反馈设备触摸他们馆藏的“鲨鱼”标本，感受鲨鱼的外形形状，可以沿着鲨鱼的脊背触摸到鲨鱼的头、鼻子等部位。

三、虚拟触觉技术在博物馆的需求和应用

      首先，虚拟触觉可以保护藏品和缓解博物馆与观众之间近乎不可调和的矛盾。

目前，博物馆大都将藏品锁在玻璃展柜里，或展览在护栏后面，或展览在昏暗的灯光下。太多的“请勿触摸”警示性标识和隔离线，让观众无法近距离观看和感受藏品，感受不到藏品应有的知识和文化内涵，损害了观众与藏品的交流，降低了参观的乐趣。然而，触觉作为人类最基本的感知和心灵体验，是观众与藏品之间必不可少的认知、交流和互动的途径。观众出于本能或者好奇心，仍然想方设法地去触摸自己喜欢的藏品，时常发生藏品被毁损的现象，让博物馆心疼不已。

虚拟触觉技术可以极大缓解目前这种近乎不可调和的矛盾，有效地保护藏品。对博物馆来言，虚拟触觉既能够拉近观众与藏品之间的距离，又能够保护藏品不受毁损，给观众创造亲手触摸“藏品”的机会和条件，让观众亲身触摸“藏品”，体验和感受藏品内在的文化底蕴，享受与藏品互动的愉悦。

其次，虚拟触觉可以给博物馆与视力障碍观众之间这条近乎不可逾越的鸿沟架起桥梁。

据世界卫生组织统计，全球约有3.14亿视力障碍者，其中4500万为盲人。第六次全国人口普查，至2010年末，我国有1263万视力残疾人。2014年我国盲人数量为661万人，是世界上盲人最多的国家，而且几乎每分钟就会出现一例新的盲人。虽然，目前国内外很多博物馆是免费开放的，但是一条无形的鸿沟却将视力障碍观众拒之在博物馆之外。这条鸿沟就是绝大数博物馆的藏品是不让触摸的，然而，触觉近乎是盲人感知藏品的唯一选择。

对于盲人而言，虚拟触摸是一种行之有效的方法，可以帮助他们深刻认知博物馆藏品，拓宽与世界的接触范围，提升审美情趣和愉悦身心，起到增强自信心和心理治疗等作用。因此，虚拟触觉技术也使得为盲人建立实物或虚拟的博物馆成为可能。

第三，虚拟触觉给观众提供一个全新的互动体验，可以提高博物馆展览的互动性、沉浸性和趣味性。

博物馆在为广大观众提供丰富藏品的同时，要重视观众的触觉体验。虚拟触觉能够弥补观众在博物馆参观过程中的触觉缺失，整合观众对真实世界的触觉记忆，充分调动观众各种感知通道，把触觉、视觉、记忆和构想有效地结合起来，激发出观众对博物馆藏品更为浓厚兴趣。

虚拟触觉可以呈现出藏品的软硬、柔性、刚性、光滑或粗糙等多种物理属性。观众通过虚拟触觉与藏品互动，使得原本冷冰冰的藏品有了丰满的触觉、想象力和生命力。丰富的触觉感知互动创造出了一种全新的藏品展示方式、一种全新的藏品互动世界。

 

第四，虚拟触觉可以超越时间和空间，有助于博物馆藏品的推广和文化的传承和传播。

虚拟触觉是信息科学的最新成果之一，是数字化时代的最新产物之一。把博物馆藏品进行数字化，通过网络进行跨时空的传播，人们以拟在的方式与远程藏品进行触觉交互，实现了跨时空的心理感受，形成了独特和不可替代的体验。 进而，虚拟触摸传递藏品的文化内涵，传扬历史文明，促进文化的有效传播，

此外，虚拟触觉在考古、藏品鉴定收藏的教学和训练中，也能发挥出独特的技术优势，使得训练更加真实、操作更加逼真，教学更加高效，同时没有任何风险。

四、结束语

       未来博物馆的发展肯定离不开互动体验，大家都会日益重视互动体验营销在吸引观众方面的作用。虚拟触觉是一种增强观众互动体验的有效方法，必将给博物馆带来新的展示方式和竞争优势，必将对博物馆行业产生革命性的影响。