首页=新宝GG注册=登录平台
全站搜索
  • 新宝GG注册
  • 新宝GG登录
  • 新宝GG招商
  • 公司地址:山东省招远市集团公司

    一台手语翻译机背后的温情
    作者:admin 发布于:2023-11-03 17:30

      在第十八届“挑战杯”的科技成果展厅里,在编号为126号的展位前,选手孙悦面向人形机器人,娴熟地打着手语。

      这个人形机器人和外接显示器占了展位的一大块空间。跟一般的服务机器人不同,它能读懂手语。

      随着孙悦的手势,外接显示器上“翻译”出她的“话”:“天津理工大学欢迎您!”“你叫什么名字?”“掌上银行登录密码忘了怎么办?”“每天早上我们一起去跑步”……

      20世纪末,天津理工大学成立了聋人工学院,这是国内第一个面向听障人士招生的本科学院,如今有4个专业,每个年级100多名学生。听障人士可以在这里学习服装与服饰设计、网络工程等。

      上大学以前,听障学生孙悦在普通学校上学,语言表达能力和沟通能力在听障人士中属于佼佼者。来到聋人工学院后,同学去医院看病、去银行办业务,经常拉着班长孙悦,由她来充当翻译。孙悦知道,同学们害怕与外界交流。

      这种恐惧同样潜伏在孙悦的心底。“我上高中的时候,非常害怕和别人交流,因为可能听不到也可能听不清,或者他们答复的时候我又听不懂。”

      大三那年,孙悦冒出一个想法:能不能研发一个工具,让听障人士去任何一个办事大厅都没有交流障碍。

      孙悦和同学做了大量调研,了解听障人群对手语翻译产品的需求,“我发现在国内这样的产品市场几乎都是空白的。”

      当时有款“手语手套”,孙悦使用后发现,它需要连接电线,而且对皮肤有刺激,既不方便,也不舒适。更重要的是,“戴上(手语手套)后打手语,大家就会觉得被歧视了”。

      本科毕业后,这名网络工程专业的毕业生被保送到计算机学院读研,并加入学校老师薛万利的团队。她要从头学习很多新知识,再把这些知识应用到手语识别系统的开发。

      刚到实验室时,薛万利对孙悦的印象是:害羞。“不大说话,不跟大家出去吃饭,一做报告就特别紧张。”

      薛万利在校园里经常遇到听障学生,但从没手把手带过,孙悦是他带的第一个听障学生。

      初次带听障学生,薛万利也有些不适应。“开组会的时候,有时候会push(催促)一下学生,比如问问研究怎么没有进展、是不是没看论文?她会很激动,情绪全挂在脸上,都能听到沉重的呼吸声。”

      在展位旁,记者小心地询问薛万利的意见,是否可以采访孙悦。薛万利大笑:“您就把她当成普通人。”

      两三年过去,薛万利见证了手语翻译项目的成熟,也看到孙悦的变化:“现在可开朗了。”

      孙悦戴着人工耳蜗,沟通表达能力与常人几乎无异。她专注地听记者发问,并对着机器人的摄像头打手语。

      做手语分词系统,需要收集数据、标注数据,这是最初的一关也是最难的一关。中国科学技术大学的手语数据集里有两万多条手语视频,这是主要的语料来源。

      普通的数据标注,只需要在照片上圈出各种各样的图像,告诉机器这是什么,比如汽车、动物、房屋等。手语视频标注的门槛则高得多,大部分人不懂手语,也就无法胜任标注工作。即便懂手语,标注一条一两分钟的手语视频也要花20分钟。孙悦解释说:“手语视频和句子要找出对应关系是非常困难的,因为手语的语法顺序和汉语的语法顺序不一样。”

      手语专家、聋人工学院的学生加入进来,中国聋人协会也提供了大量帮助。志愿者们“翻译”出每条视频,“喂”给机器。100多名志愿者花了4个多月,标注完这两万条视频。

      除此之外,聋人工学院的志愿者还“生产”语料。他们自己录制手语视频,再标注出含义,又“生产”了3000多条手语视频。

      薛万利告诉记者,这台翻译机器人目前已经用在天津理工大学的学生服务大厅、学校附近的银行网点。在这些场景下,常用的对话只有几百句,手语识别准确率比较高。

      但这支团队的成果不止于此:目前有几个听障同学因为这个项目各自有所收获,有的找到一份不错的工作,性格比以前开朗很多,也有人收获了爱情。

      明年夏天,孙悦将硕士毕业。“用她自己的话说,现在可以很勇敢、很自信地进入社会。这也是我们觉得做这个项目最自豪的一件事,倒不是说发了多少篇论文、拿了多少项目,她的这种改变,让我们从老师到学生都觉得这件事很有意义。”薛万利说。

      “毕竟‘挑战杯’是大学生科技竞赛最高的舞台之一,我们希望她能够站在上面,勇敢地表达自己。哪怕讲得不太好,没有关系。拿不到奖也无所谓,站在上面去表达自己就可以了。”薛万利说。

      10月30日晚上,比赛结果公布,这支团队获得一等奖。答辩时,评委甚至没问太多技术方面的问题,而是更关注聋健融合时遇到过哪些困难、如何克服。薛万利期待,未来有更多人参与进来,促进残障人士主动融入社会。

    相关推荐
  • “花花世界”?噢原来在这里……
  • 一台手语翻译机背后的温情
  • 出国申研想跨专业怎么办?
  • 全国服装3D数字化设计职业技能等级证书推进会在宁波召开
  • 理科专业跨行成为服装品牌创始人:“我们是真的热爱服装想做好这件事”
  • 创意决战裘新时代!2023裘都杯中国裘皮服装设计大赛总决赛河北大营燃爆登场
  • “中国时尚新锐创意设计秀”在深圳举行
  • 解析—服装设计专业
  • 前期离不开后期神隐的七龙珠女神——双面女神蓝琪。
  • 童装含“阴间设计”江南布衣陷舆论风波创始人早已不是中国人
  • 脚注信息
    Copyright © 2027 新宝GG注册 TXT地图 HTML地图 XML地图
    友情链接: