本站原创摘 要 ：聋哑人一直是我们比较关注的社会弱势群体之一,聋哑人与正常人的交流问题更是我们关注的热点.本论文旨在阐明为解决此问题的“聋哑人通讯系统”的设计思路.
关 键 词 ：聋哑人；语音识别；手语翻译；通讯软件
中图分类号：TP311
1.背景
聋哑人一直是我们比较关注的社会弱势群体之一,聋哑人与正常人的交流问题更是我们关注的热点.由于聋哑人的先天缺陷,使他们与普通人无法正常交流,直接导致了聋哑人就业难,内心自卑,因而聋哑人的心理疾病病发率、率都比常人高出很多,尤其是近年来在昆明、重庆、安徽各省的聋哑人偷窃犯罪率逐年大幅攀升,聋哑人犯罪甚至趋于职业化.这一切的根源都在于聋哑人未能和他人充分交流,未能充分融入进这个社会群体,严重的脱节感对他们的身心,对我们社会的稳定和发展都构成了极大的威胁.因而,实现聋哑人和普通人的正常交流迫在眉睫.
调研分析：
目前,普通人和聋哑人的交流方式主要有以下两点：
1.1 主要交流方式是纸笔.纸笔交流的弊端在于交流过程中的每句话都要写下来,这就带来了许多不便.一方面,普通人大多会在这种纸笔的交流过程中流露出厌烦、逃避的心理,进而加深了聋哑人的自卑、内疚心理.另一方面,如果聋哑人忘了带纸笔,那交流将会进入一种尴尬的局面.显然,用纸笔交流并不是一个便捷、高效的理想方式.
1.2 手机短信是聋哑人与普通人交流的新方式.手机已经是普通人日常必备的通讯工具了,手机的便携性为交流带来了方便.聋哑人和普通人也能通过发文本信息来交流.然而,普通人当然更愿意通过说话来进行日常交流.
此系统就是基于这个想法：让普通人和聋哑人交流时也能用嘴说话,使普通人更愿意和聋哑人交流,让聋哑人感受到被平等的对待.
2.国内外研究现状
如今,国内外在帮助聋哑人和普通人交流的软件上已有了一些成就,在语音识别和手势识别方面有一定的进展.在实时通讯软件方面,语音的加入也使通讯更加方便,但并不能方便聋哑用户的使用.
国外：国外在聋哑人手机通讯上做出了一些研究成果,能实现聋哑人的视频通话或者是同过第三方的翻译怎么写作来实现手语到语音的通讯.但是没有研究手语和语音直接互译的软件来帮助通讯.
2008年,美国华盛顿大学研究人员开发出了能够让聋哑人通过手机用哑语进行交流的软件,从而在美国首次实现了手机双向实时视频通信.传输哑语视频信号需要较快的图像传送能力.然而,美国移动通讯网数据传输速率低,加之手机有限的处理能力,因此难以实现清晰的视频信号实时传输.
2008年,西班牙国家聋哑人协会给全国约100万的聋哑人提供一项免费的视频翻译怎么写作,该怎么写作将通过西班牙电讯怎么写作中心开发的一个系统来完成.当调度中心接到有听力障碍的客户打入视频时,该中心的手语翻译在与其沟通之后会拨打他想通话的人的,并对全程的通话进行翻译.而聋哑人打视频的渠道目前有三个：3G手机、一款安装在电脑上的通话软件或者是一种安装在电视机上的特殊装置.然而这种通讯需要政府提供人员翻译,耗费了大量人力.
国内：国内研究方向主要是实现在电脑端的语音手语互译,可并没有应用在手机通讯领域.
（1）2011年,宿迁一教师用时五年开发出一套电子手语软件,解决了正常人与聋哑人交流的难题,从而填补了国内这一领域的空白.主要是利用计算机技术实现向手语翻译功能,并提供检索和查找功能,采用直观、形象的真人动态图像来表示每个手语,可以实现正常人与聋哑人的基本交流和教学需要.该手语软件是第一次用动态的真人图像来表示手语,克服了以前手语工具书用静态的文字描述动态的动作,容易产生歧义、动作不规范、表达不清楚等问题.（2）由腾讯公司研发的一款叫做“微信”的通讯软件.微信支持跨通信运营商、跨操作系统平台通过网络快速发送免费（需消耗少量网络流量）语音短信、视频、图片和文字,支持多人群聊的手机聊天软件.但是他不能提供语音手语互译的功能,所以聋哑人不能使用,但是只要将其加以完善,就可以开发出一款利于普通人和聋哑人交流的实时通讯系统.
综上：无论是国外还是国内的一些研究结果却极少有成果可以将通讯和手语语音互译结合起来,而此聋哑人通讯系统可以很好地将两者结合.
3.研究技术路线
此研究项目可以分为三个大的模块（见系统模块图）：
3.1 怎么写作器：怎么写作器端分为两个子模块,由手势视频转为文字的视频流处理模块和语音转化为文字的云处理模块.前者本项目的难点之一,我们准备利用图像识别技术在怎么写作器端对手势视频进行处理,判断出手势,并通过一些概率算法得到相应的文字.而后者有很完善的Google语音搜索引擎的支持可以在云端处理,减轻了怎么写作器的负荷,怎么写作器将文字流转化为手势的矢量流传回给手机端.
3.2 手机端：手机端有两个大模块,手势视频转化为语音文字的模块与语音文字转手势的模块.前者设置的视频通过网络上传到怎么写作器进行处理并返回文字,文字在在文字转语音中转换成语音并输出；并将采集到的语音上传到怎么写作器,怎么写作器将处理好的文字展现给用户.
3.3 网络层：文字和语音的传输（可以用任意网络,包括2g,2.5g,3g,wifi无线网络等）,而视频识别为语音的模块由于需要上传视频到怎么写作器端进行图像流处理,所以需要较高速网络.
主要功能模块交互示意：
图1 功能模块图
怎么写作器端系统：（1）语音识别模块：通过调用已有的成熟引擎开放接口处理由端设备发起的处理请求和数据.（2）视频识别模块：使用自制的图形处理引擎,识别常见的和紧急的手语.
端设备系统：（1）采集模块：通过麦克或者摄像头采集用户输入.（2）语音播放：通过调用成熟的朗读引擎,将由怎么写作器解析手语得到的文字信息转换为一般用户可以听见的语音.（3）手语播放：通过解析语音所得文字对应已知手语,通过贴图的方式将文字转化为可视的手语.（4）通讯模块：通过可靠的P2P方式传输用户的通讯信息.
4.结束
此聋哑人通讯系统,通过语音识别、文字转为语音（TTS）等技术使聋哑人的和正常人的交流更加方便,有趣.