重度及極重度聽障者的困境
重度及極重度聽障者因耳蝸聽覺功能嚴重缺損,目前僅有使用人工電子耳植入改善的方法。 人工電子耳的植入對於晚期植入者的效果不理想,且人工電子耳的價格昂貴, 需要長時間聽覺能復健,因此難以普及。
「專家研發科技輔具 助聽障溝通更順暢」【公視手語新聞】
https://www.youtube.com/watch?v=aN1LhTmDhh4
用科技「看見」聲音
與文學心意相通
▍臺文館為文化部指定「聽障示範場館」,專注於文化平權推動與實踐,多年來已累積相當成果:2018年開發以聽障族群為主題的文學資源箱、出版第一本聽障主題繪本《除了聽,他們沒有什麼做不到》、辦理「以聾為榮:聾人的內心世界特展」、2019年主辦「第四屆臺灣國際聾人電影節」、2023年培訓聾人擔任手語導覽員,以及專為學齡兒童辦理的臺灣手語夏令營等。因為這樣的用心,主辦單位選在本館辦理「促進聽覺障礙者多面向溝通的新科技」體驗活動,該活動獲得國科會人文處「以包容為導向之科技計畫」補助,期待讓聾人透過嶄新科技,「看見」百年古蹟蘊含的文學之美,交會出新潮古典的平權火花。
▍6月22日,由國立臺灣師範大學特殊教育學系劉秀丹教授、奇美醫學中心耳鼻喉科部喉科劉璟鋒主任醫師、逢甲大學自動控制工程學系秦群立副教授及國立臺南大學特殊教育學系劉俊榮副教授,針對聾人在「聽力」、「口說」、「閱讀理解」及「溝通社交」的痛點,開發了「語音轉文字智慧眼鏡」、「構音轉換APP」「易讀圖文APP」及「AI虛擬人生成教案」共四項科技輔具,並應用於本館建築導覽及展覽資源,吸引了10位聽障民眾踴躍報名體驗。
▍為了增加趣味性,主辦單位特地以分組闖關的方式,讓聽障民眾完成學習單指定的任務。例如戴上「#語音轉文字智慧眼鏡」,即時置身在吵雜環境,可以「看見」語音跳動在鏡片上,了解導覽志工的解說本館建築特色「衛塔」、「牛眼窗」等文字內容。
▍看不懂深奧的展覽沒關係,只要下載「#易讀圖文APP」,原本密密麻麻的展覽文案,轉譯為淺顯易懂的重點摘要及四格圖文,降低文學門檻,讓看展變得輕鬆有趣。
▍害怕對方聽不懂自己的意思而不敢開口嗎?透過手機下載「#構音轉換APP」,就可將不清晰的語音即時轉成清晰語音,順利傳達給對方。於是,聽障民眾鼓起勇氣向本館服務臺人員詢問本館飲水機的位置,也了解當天有什麼展覽。
▍如果不想麻煩他人也可以透過「生成式AI虛擬人」互動問答,了解臺文館提供免費的團體導覽預約服務,導覽語種除了華語、英語、台語,還包括「臺灣手語」。
▍闖關結束後,聽障民眾也回饋體驗心得,認為科技輔具貼近生活需求、可以改善互動,增加獨自看展的方便性。藉由這次的合辦機緣,臺文館也正在洽詢科技輔具合作交流的可能,打破「無聲」隔閡,期望為不同身心條件觀眾提供更多元的媒介,成為人人都可以參與的博物館。
https://www.facebook.com/share/p/1GNSigRqRt/
計畫團隊受邀由勞動部勞動力發展署中彰投分署主辦、財團法人彰化縣私立基督教喜樂保育院承辦的「114年度職務再設計助聽輔具友善廠商教育訓練」友善廠商與專業人員實際操作最新科技,親身感受科技如何支持聽覺障礙者在職場的表達與溝通。
🌟 活動亮點:
🔹 智慧眼鏡語音接收系統:即時將語音轉換成文字,縮短溝通鴻溝。
🔹 構音轉換APP:提升說話清晰度,增強口語表達自信。
🔹 易讀圖文APP:將長文重點轉化或圖文呈現,資訊更容易理解與記憶。
🔹 生成式AI虛擬人溝通教案:模擬真實情境對話,演練溝通策略,體驗沉浸式學習。
✨ 參與者不僅「看見科技」,更能「操作科技」,並即時思考如何應用於職務再設計與職場支持之中。
這場體驗讓我們更確信:
👉 科技 × 職務再設計 × 共融職場,是推動聽覺障礙者穩定就業與自信溝通的重要力量!未來我們將持續升級並推廣多面向溝通科技💬
用科技「看見」聲音
與文學心意相通
▍臺文館為文化部指定「聽障示範場館」,專注於文化平權推動與實踐,多年來已累積相當成果:2018年開發以聽障族群為主題的文學資源箱、出版第一本聽障主題繪本《除了聽,他們沒有什麼做不到》、辦理「以聾為榮:聾人的內心世界特展」、2019年主辦「第四屆臺灣國際聾人電影節」、2023年培訓聾人擔任手語導覽員,以及專為學齡兒童辦理的臺灣手語夏令營等。因為這樣的用心,主辦單位選在本館辦理「促進聽覺障礙者多面向溝通的新科技」體驗活動,該活動獲得國科會人文處「以包容為導向之科技計畫」補助,期待讓聾人透過嶄新科技,「看見」百年古蹟蘊含的文學之美,交會出新潮古典的平權火花。
▍6月22日,由國立臺灣師範大學特殊教育學系劉秀丹教授、奇美醫學中心耳鼻喉科部喉科劉璟鋒主任醫師、逢甲大學自動控制工程學系秦群立副教授及國立臺南大學特殊教育學系劉俊榮副教授,針對聾人在「聽力」、「口說」、「閱讀理解」及「溝通社交」的痛點,開發了「語音轉文字智慧眼鏡」、「構音轉換APP」「易讀圖文APP」及「AI虛擬人生成教案」共四項科技輔具,並應用於本館建築導覽及展覽資源,吸引了10位聽障民眾踴躍報名體驗。
▍為了增加趣味性,主辦單位特地以分組闖關的方式,讓聽障民眾完成學習單指定的任務。例如戴上「#語音轉文字智慧眼鏡」,即時置身在吵雜環境,可以「看見」語音跳動在鏡片上,了解導覽志工的解說本館建築特色「衛塔」、「牛眼窗」等文字內容。
▍看不懂深奧的展覽沒關係,只要下載「#易讀圖文APP」,原本密密麻麻的展覽文案,轉譯為淺顯易懂的重點摘要及四格圖文,降低文學門檻,讓看展變得輕鬆有趣。
▍害怕對方聽不懂自己的意思而不敢開口嗎?透過手機下載「#構音轉換APP」,就可將不清晰的語音即時轉成清晰語音,順利傳達給對方。於是,聽障民眾鼓起勇氣向本館服務臺人員詢問本館飲水機的位置,也了解當天有什麼展覽。
▍如果不想麻煩他人也可以透過「生成式AI虛擬人」互動問答,了解臺文館提供免費的團體導覽預約服務,導覽語種除了華語、英語、台語,還包括「臺灣手語」。
▍闖關結束後,聽障民眾也回饋體驗心得,認為科技輔具貼近生活需求、可以改善互動,增加獨自看展的方便性。藉由這次的合辦機緣,臺文館也正在洽詢科技輔具合作交流的可能,打破「無聲」隔閡,期望為不同身心條件觀眾提供更多元的媒介,成為人人都可以參與的博物館。
https://www.facebook.com/share/p/1GNSigRqRt/
計畫團隊受邀由勞動部勞動力發展署中彰投分署主辦、財團法人彰化縣私立基督教喜樂保育院承辦的「114年度職務再設計助聽輔具友善廠商教育訓練」友善廠商與專業人員實際操作最新科技,親身感受科技如何支持聽覺障礙者在職場的表達與溝通。
🌟 活動亮點:
🔹 智慧眼鏡語音接收系統:即時將語音轉換成文字,縮短溝通鴻溝。
🔹 構音轉換APP:提升說話清晰度,增強口語表達自信。
🔹 易讀圖文APP:將長文重點轉化或圖文呈現,資訊更容易理解與記憶。
🔹 生成式AI虛擬人溝通教案:模擬真實情境對話,演練溝通策略,體驗沉浸式學習。
✨ 參與者不僅「看見科技」,更能「操作科技」,並即時思考如何應用於職務再設計與職場支持之中。
這場體驗讓我們更確信:
👉 科技 × 職務再設計 × 共融職場,是推動聽覺障礙者穩定就業與自信溝通的重要力量!未來我們將持續升級並推廣多面向溝通科技💬
https://www.facebook.com/share/p/1AWBtZyJyS/
對於身心障礙者而言,環境的可及性攸關重要。身心障礙者權利公約 (CRPD) 與聯合國2030永續發展目標 (SDGs) 都強調應保證可及性環境,以促進身心障礙者融入社會。其中聽覺障礙者因為受限於聽力損失, 在聽、說、閱讀理解及人際溝通上面臨更大的挑戰。為協助聽障者解決其溝通困難, 本計畫整合四個子計畫,分別與四個聽障社會團體合作,希望透過科技創新, 滿足聽障者真正需求。
整合語音辨識系統與混合實境成為「語音接收智慧輔助系統」,將說話者的語音即時轉成文字, 呈現在智慧眼鏡的混合實境畫面上,幫助配戴智慧眼鏡的聽障者看到對方說話的內容。
開發「構音生成對抗網路架構」創新科技,以促進聽障者說話的清晰度。
運用創新機器學習架構研發軟體,將一般文本轉換為文圖併呈的易讀文本, 幫助閱讀能力不佳的聽障者快速透過文字與圖畫接收訊息。
透過虛擬實境科技,讓聽障兒童練習大量且多樣的情境對話,學習不同情境下的溝通策略, 並且促進其心智發展,另外亦規劃研發聽障體驗的VR互動影片, 讓聽障兒童的同儕或家人學習如何與聽力障礙者友善共處。
重度及極重度聽障者因耳蝸聽覺功能嚴重缺損,目前僅有使用人工電子耳植入改善的方法。 人工電子耳的植入對於晚期植入者的效果不理想,且人工電子耳的價格昂貴, 需要長時間聽覺能復健,因此難以普及。
如果在與他人溝通的同時,就如同我們看外國影片一般,能夠同步產生字幕。 也就是別人說的話即時轉化成視覺顯讀懂的文字。便可以讓聽障患者透過顯示幕 直接理解他人的語音,自在的與他人在日常生活中與他人進行溝通。
聽覺障礙人士在溝通和表達的困難是一個值得關注的議題。聽覺障礙者在發音時, 難以藉由聽辨一般人與自己的說話聲音來修正自身發音, 容易有發音不清楚的狀況,像是缺少聲母、韻母、唇音或是鼻音等, 這些情況稱為構音異常。構音異常可能使得聽障者的語音清晰度較一般人差, 讓一般人無法清楚理解聽障者所要表達的內容。
為了改善聽障者構音異常的問題,我們開發構音異常轉換系統, 透過生成對抗網路(Articulate Generative Adversarial Network, Articulate GAN)轉換語音清晰度不高的語音檔,將轉換後的結果播放給一般民眾聆聽。 我們將模型部署在麥克風中,讓聽障人士能隨身配戴,藉此輔助一般人理解聽障人士說的話。
聽障者有閱讀「四年級高原」說,即其閱讀能力難以超越國小四年級, 是功能性文盲的高危險群。聽障者面對日常、職業等場域的文本, 經常有閱讀上的困難(劉俊榮,2020)。因此有易讀文本的需求。
易讀文本是將複雜、艱澀難懂的文字內容進行轉換, 讓文本更容易閱讀、理解。公部門推出適合身心智障礙者閱讀的易讀文本, 但往往只出現在政治、文化等有限的場域,且是依賴人力簡化文件, 畫上插圖來出版,花費高且也需花費較長的時間。
為改善易讀文本場域少、製作費時費力的問題,我們使用生成式AI製作易讀圖文App。易讀圖文App有六項功能,分別是「長文摘要」、「長文簡化」、「重點標記」、 「簡化標記」(標記簡化後的文章)、「段落生圖」(以段落及其配圖的形式呈現易讀處理後的文本)及「四格圖文」(簡化文章並搭配圖)。透過簡化文字、產生圖片呈現讓使用者更快速理解文章內容。
聽障者因聽不清和說不清而面臨溝通中斷,導致人際互動的挫折和壓力, 甚至引起社會情緒問題(Church et al., 2017)。此外,聽障學生的口語溝通技巧發展較慢或策略有限(Most, 2003; Church et al., 2017)。 因此,教育工作者需提供積極的溝通策略,幫助他們有效溝通。
心智理論(ToM)是理解和預測自己與他人內心狀態的能力。 這項能力使人們能夠理解和預測他人的行為,並在社會互動中做出適當的反應。 劉秀丹(2022)在科技部支持下的研究顯示,部分聽障兒童在學前及國小低年級階段的心智理論發展已經落後於聽常同儕。
透過虛擬實境,聽障兒童可以在多種情境下進行對話練習和討論,學習不同的溝通修補策略, 理解對方的心理狀態。我們還有聽障體驗的 VR 互動影片,讓聽常同儕和家人體驗聽障者在日常生活中 因溝通困難帶來的不便與影響,學習如何友善地與聽障者相處。