마이크로소프트, AI로 수어 인식 스마트홈 기기 혁신 나선다
청각장애인을 위한 수어 기반 개인 비서 장치 연구, RIT와 3년 프로젝트 진행
- •마이크로소프트 AI 접근성 프로그램이 2019년부터 RIT와 수어 기반 스마트홈 기기 연구를 지원 중이다.
- •현재 시장의 모든 스마트홈 기기는 수어를 인식하지 못해 청각장애인 접근성에 공백이 존재한다.
- •오즈의 마법사 실험으로 DHH 사용자 고유의 수어 웨이크업 명령 등 새로운 인터랙션 패턴이 발견됐다.
현재 스마트홈 기기, 수어는 '존재하지 않는 언어'
전 세계 수억 명의 청각장애인(Deaf and Hard of Hearing, DHH)이 일상적으로 사용하는 수어(S Language)는 아직까지 어떤 상용 스마트홈 기기도 인식하지 못한다. 아마존 에코(Amazon Echo), 구글 홈(Google Home), 애플 홈팟(ple HomePod) 등 시장의 모든 개인 비서 장치는 음성 명령만을 처리할 수 있다. 마이크로소프트(Microso)의 AI 접근성 프로그램(AI for Accessibility)은 이 공백을 메우기 위해 2019년부터 수어 기술 연구에 투자해왔으며, 그 성과가 서서히 가시화되고 있다.
왜 지금 이 연구가 중요한가
스마트홈 기기는 현대 가정의 핵심 인터페이스로 자리 잡았다. 쇼핑 목록 추가, 날씨 확인, 조명 제어, 음악 재생 등 수십 가지 일상 기능이 음성 명령 하나로 처리된다. 그러나 청각장애인에게 이 편의성은 반쪽짜리다. 음성을 주 의사소통 수단으로 쓰지 않는 DHH 사용자에게 기기를 '말로' 조작하라는 요구는 본질적인 접근성 장벽이다.
마이크로소프트 AI 접근성 팀이 2019년 수어 워크숍을 개최하고 연구자들의 지원을 받은 것도 이 문제의식에서 출발했다. 미국 수어(American S Language, ASL) 모국어 사용자이자 로체스터 공과대학교(Rochester Institute of Technology, RIT) 컴퓨팅·정보과학 박사 과정 학생인 에이브러햄 글래서(Abraham Glasser)는 이 워크숍을 통해 3년 연구 지원금을 수주했다. 그의 연구 지도교수는 맷 휴너파우스(Matt Huenerfauth) 교수다.
이 연구는 RIT 골리사노 컴퓨팅·정보과학 대학(Golisano College of Computing and Information s) 산하 접근성·포용성 연구센터(Center for Accessibility and Inclusion Research, CAIR)에서 수행됐다. CAIR는 영어와 미국 수어 이중 언어를 구사하는 청각장애 학생들이 다수 포함된 연구 기관으로, 컴퓨팅 접근성 연구를 전문으로 한다.
이전 연구와 무엇이 달라졌나
| 항목 | 기존 연구 | 이번 연구 | 변화 |
|---|---|---|---|
| 연구 대상 사용자 | 주로 일반(청인) 사용자 | DHH 사용자 중심 | 접근성 특화 |
| 상호작용 방식 | 음성 명령 분석 | 수어 명령 시뮬레이션 | 수어 인터페이스 최초 탐구 |
| 기기 활성화 연구 | 음성 웨이크워드 중심 | 수어 기반 웨이크업 명령 발견 | 새로운 인터랙션 패턴 도출 |
| 데이터 수집 방식 | 기존 음성 데이터셋 활용 | 실험 참가자 수어 영상 수집 및 주석 작업 | 수어 데이터 생성 |
| 출력 방식 연구 | 음성 응답 중심 | 화면 텍스트·ASL 아바타·영어 자막 복합 | 멀티모달 출력 탐구 |
글래서 연구팀이 특히 주목한 점은 기존 연구에서 전혀 다루지 않았던 '수어 웨이크업 명령(wake-up ss)'의 존재였다. 스마트홈 기기를 작동시키기 위해 DHH 사용자들이 자연스럽게 사용하는 수어 동작이 있었지만, 이전 연구들은 이를 포착하지 못했다.
마법사 뒤의 과학: 오즈의 마법사 실험 설계
연구팀이 채택한 방법론은 '오즈의 마법사(Wizard-of-Oz)' 기반 화상 회의 실험이다. 이 설계는 아직 존재하지 않는 기술을 인간이 대신 수행하며 사용자 반응을 관찰하는 방식으로, 미래 기술 개발에 앞서 사용자 니즈를 탐색할 때 활용된다.
실험 구조는 다음과 같다. ASL 통역사('마법사')가 화상 회의에 접속하되 화면에는 보이지 않는 상태로 대기한다. 같은 공간에는 스마트홈 기기가 놓여 있으며, 기기 화면과 출력 결과는 화상 회의 영상으로 참가자에게 보인다. 청각장애 참가자들은 연구 진행자(moderator)의 안내에 따라 기기에 수어로 명령을 내린다. 이 수어 명령은 숨어 있던 ASL 통역사가 영어 음성으로 변환해 기기에 전달한다. 참가자들은 통역사의 존재를 알지 못한다.
실험 이후 주석 작업자 팀이 영상을 분석해 핵심 구간을 식별하고, 각 명령을 영어와 ASL 글로스(gloss, 수어 형태소 전사 방식)로 변환했다. 이 데이터는 향후 AI 모델 학습을 위한 기초 데이터셋으로 활용될 수 있다.
수어 AI, 다음 단계는 무엇인가
이번 연구가 시사하는 바는 기기 하나의 업데이트를 넘어선다. AI 기반 수어 인식 기술이 성숙하려면 두 가지 조건이 선행되어야 한다. 첫째는 양질의 수어 데이터셋 확보이고, 둘째는 실제 DHH 사용자의 자연스러운 인터랙션 패턴 이해다. 글래서의 연구는 이 두 조건을 동시에 충족하는 방향으로 설계됐다는 점에서 의미가 있다.
수어는 전 세계적으로 단일 언어가 아니다. 미국 수어(ASL), 영국 수어(BSL), 한국 수어(KSL) 등 각국마다 독립적인 문법과 어휘를 갖는다. 따라서 스마트홈 기기에 수어 인식 기능을 탑재하기 위해서는 각 언어별 데이터 수집과 모델 학습이 필요하다. 현재 수어 관련 AI 데이터셋은 음성 언어 데이터셋에 비해 현저히 부족한 '데이터 사막(data desert)' 상태다.
다만, 카메라 기반 수어 인식 기술은 컴퓨터 비전(Computer Vision) 분야의 발전과 직결된다. 마이크로소프트가 이 분야에 선제 투자한 것은 해당 시장에서의 기술 선점 전략으로도 해석된다.
접근성 기술 전문가들은 수어 인식 스마트홈 기기가 단순한 편의 기능을 넘어 DHH 사용자의 디지털 포용(digital inclusion)에 핵심적인 역할을 할 것으로 보고 있다.
이 시리즈의 다른 기사
AI·테크 더보기
최신 뉴스
젤렌스키, 러시아 공중에 드론 경고
젤렌스키, 러시아 공역이 드론으로 인해 안전하지 않다고 경고 우크라이나, 러시아 에너지 및 물류 시설에 장거리 드론 공격 확대 푸틴, 우크라이나 경고를 '국가 테러'로 규정하고 공격 강화 예고 우크라이나 대통령 젤렌스키는 2026년 9월 2일 오후 연설에서 러시아 공역이 점점 더 위험해지고 있다고 경고했다. 그는 모든 항공사, 보험사, 러시아 주요 공항을 이용하는 기관에 대해 "러시아 공역은 완전히 안전하지 않다"고 명시했다. 이는 우크라이나가 러시아 내 에너지 시설과 물류 기지에 장거리 드론 공격을 확대하면서 발생한 결과다. 젤렌스키는 러시아 공역에 드론이 기존보다 훨씬 더 빈번하게 출현할 것이라며, 항공기 운항 시 이를 반드시 고려해야 한다고 강조했다. 특히 모스크바, 상트페테르부르크 등 주요 도시로 향
독일, 루스라의 공격적 행위에 대응해 대규모 제재 발표
독일은 레히지그 공항에서 폭발 위협 드론이 발견된 사건을 러시아 정부의 지시에 따른 것으로 판단하고, 러시아 문화센터 계약 해지 및 외교 기관 압박 조치를 발표했다. 러시아 대통령 푸틴은 독일의 조치를 '심각한 실수'로 평가하며, 증거 부족을 이유로 비판했고, 러시아는 동일한 방식의 보복을 예고했다. 독일 정부는 러시아의 하이브리드 공격에 대한 경고를 명확히 하고, 정보기관 역량 강화를 통해 지속적인 대응을 준비 중이다.
조지 클루니, 베니스 영화제에서 수상
조지 클루니는 베니스 영화제에서 평생 공로상을 수상했다. 다니엘 보일 감독의 '잉크'는 1969년 러퍼트 머독스가 '더 선'을 인수한 과정을 다룬다. 영화제는 여성 감독의 부재 문제를 공식적으로 인정하며 성평등 개선을 촉구했다. 베니스 영화제는 9월 2일 수요일, 조지 클루니가 평생 공로상을 수상하는 가운데 개막했다. 클루니는 아내 암알 클루니와 함께 수상식에 참석했으며, 이날 행사에서 그는 할리우드의 인공지능 �revoluion과 파라마운트-워너 브라더스 합병 논의, 미국 내 언론과 권력의 상태에 대해 언급했다. 그는 또한 영화 산업이 생존 방안을 찾아야 한다고 강조했다. 이날 개막작으로는 다니엘 보일 감독이 제작한 '잉크(Ink)'가 상영됐다. 이 영화는 1969년 러퍼트 머독스가 영국의 보도지 '더 선
이집트 시나이반도 버스 추락 사고로 22명 사망
이집트 시나이반도의 다바브와 누웨이바를 연결하는 도로에서 버스 추락 사고 발생, 최소 22명 사망. 사고 버스에는 총 43명이 탑승했으며, 이 중 22명이 요르단 국적자로 확인됐다. 10명의 요르단인과 12명의 이집트인이 사망했으며, 28명이 부상했다. 이집트의 시나이반도에서 버스가 추락해 최소 22명이 사망하고 28명이 부상을 입었다. 사고는 이집트 동부 시나이반도의 레드시아 해안에 위치한 다바브와 누웨이바를 연결하는 도로에서 수요일 오전 발생했다. 사고 현장에는 20대 이상의 구급차가 급파되어 부상자들을 인근 병원으로 이송했다. 이집트 보건부는 사고 발생 직후 20대 이상의 구급차를 현장에 파견해 응급 조치를 취했다고 밝혔다. 사고 버스는 총 43명을 태우고 있었으며, 이 중 22명이 요르단 국적자로 확
플로렌스 퓨, '이스트 오브 에덴'에서 악역의 정점 포착
넷플릭스는 10월 1일에 조 카잔이 각본을 쓴 7부작 한정 시리즈 'East of Eden'을 공개한다. 플로렌스 퓨가 캐시 암스 역을 맡아 악역의 심리적 복잡성을 연기한다. 이번 작품은 1955년 엘리아 카잔 감독 영화판 이후 두 번째 대규모 리메이크다. 넷플릭스는 9월 2일, 조 카잔이 각본을 쓰고 공동 제작자로 참여한 7부작 한정 시리즈 'East of Eden'의 전체 트레일러를 공개했다. 이 작품은 존 스타인벡이 1952년에 발표한 대작 소설을 기반으로 하며, 플로렌스 퓨가 주인공 캐시 암스를 연기한다. 캐시 암스는 트랙스 형제인 아담(크리스토퍼 애벗)과 찰스(마이크 페이스트)의 삶을 뒤흔드는 인물로, 처음으로 그 집에 피로 뒤덮인 채로 들어와 형제 간의 유대를 무너뜨린다. 아담은 그녀가 방을 거의
다니 세바요스, 베티스로 복귀
다니 세바요스는 2026년 9월 2일, 레알 마드리드에서 베티스로 이적하며 9년 만에 복귀했다. 베티스는 세바요스 외에도 트로이 파로트, 프란 곤잘레스, 파스쿠알 벌라르, 디에고 콘데 등 총 5명의 신입 선수를 영입했다. 이적은 베티스의 2026-2027 시즌 리그 챔피언스리그 복귀를 위한 전술적 준비의 일환으로 진행됐다. 다니 세바요스는 2026년 9월 2일, 레알 마드리드에서 베티스로 이적하며 9년 만에 클럽로 복귀했다. 이적은 베티스의 2026-2027 시즌을 앞두고 공식 발표됐으며, 세바요스는 2029년까지 계약을 체결했다. 이는 베티스가 펠레그리니 감독의 7번째 시즌을 맞아 리그 챔피언스리그 복귀를 준비하는 가운데, 핵심적인 마무리 이적으로 평가된다. 세바요스의 이적은 이적 시장의 마지막 순간, 즉
USS 에이브러햄 링컨, 태국 파타야 도착
USS 에이브러햄 링컨이 286일간의 항해 끝에 태국 파타야의 렘 차방 항구에 도착했다. 5,000명의 아메리칸 해군 병력이 5일간의 리버티 포트 콜을 통해 지역 경제에 기여할 전망이다. 파타야는 해군 병력의 방문을 계기로 관광 산업과 서비스 산업의 활성화를 기대하고 있다. USS 에이브러햄 링컨이 태국 파타야의 렘 차방 항구에 드디어 정박했다. 이는 286일간의 항해와 250일간의 항해 중 포트 정박 없이 이어진 기록적인 여정을 마친 후의 결과다. 해군은 이번 정박을 '리버티 포트 콜(liberty port call)'로 명명하며, 5,000명의 승무원이 파타야에서 휴식과 재충전의 기회를 갖게 될 것이라고 밝혔다. 파타야는 동부 태국 해안에 위치한 주요 관광 도시로, 렘 차방 항구에서 방콕 시내까지 약 1
프리미어리그, 여름 이적 시장서 349억 파운드 기록 돌파
프리미어리그 클럽들이 여름 이적 시장에서 총 349억 파운드를 지출하며 역사 최대 기록을 달성했다. 맨체스터 시티는 458억 파운드를 지출해 단일 이적 시장에서 최대 지출 기록을 세웠다. 세 명의 세계 최고가 이적료를 기록한 선수들이 모두 프리미어리그 클럽에 합류했다. 프리미어리그 클럽들이 여름 이적 시장에서 총 349억 파운드(약 5조 3,000억 원)를 지출하며 역사상 가장 큰 이적 지출 기록을 세웠다. 이는 지난해 리버풀이 기록한 415억 파운드를 넘어선 수치로, 프리미어리그가 세계 축구 이적 시장에서 가장 큰 영향력을 행사하고 있음을 보여준다. 맨체스터 시티는 에이젠조 페르난데스의 영입을 마지막으로 총 458억 파운드를 써내며 단일 이적 시장에서 최대 지출 기록을 달성했다. 이는 펩 과르디오라 감독의
