ASR (Automated Speech Recognition)

오픈소스 음성인식 엔진중 왜 Kaldi를 써야 하는지?

Kaldi로 음성 인식의 기술들이 많이 통합되었으며, 음성인식기에 최적화된 TensorFlow같은 프레임워크로 볼 수 있습니다. 지속적인 코드 업데이트를 하기 때문에 최신 기술도 follow-up 가능합니다. 비용적으로도 Open Source이기 때문에 비용적 우위를 논할 수 없습니다.

현재 많은 엔지니어들이 사용하고 성공적인 recipe들이 있다는 것으로 기술적으로 증명되었습니다. (최근 Kaldi 깃허브 공식 코드에 Zeroth가 한국어 공식 recipe로 등록됨)

관련기사 : https://biz.chosun.com/site/data/html_dir/2017/03/06/2017030601112.html

kaldi 오픈소스 음성인식의 품질에 대해 객관적으로 평가 할 수 있는 데이터가 있는지? 상용제품(ETRI, 마인즈랩, 셀바스AI, 뉘앙스등)등과 비교된 내용이나 평가 데이터가 있는지?

각 회사의 음성인식기들은(ETRI, 마인즈랩, 셀바스AI, 뉘양스 등) 각자가 가진 데이터로 최적화 학습이 되어있으니 특정 상황에서 준비된 데이터셋으로 비교하는 것 말고는 객관적인 비교라는 것이 성립이 되지 않습니다.

CER을 비교한다고 예를 들면 A사가 10%, B사가 15%가 나왔다고 해서 A사가 B사 보다 음성인식기 성능이 좋다고 말할 수 없습니다. 동일한 조건에서 충분한 시간의 데이터를 비교했다고 하면 A사가 성능이 더 좋다고 추정할 수는 있겠지만 보통 PoC 및 입찰 외에는 이런 조건 성립이 되지 않기 때문에 비교를 할 수가 없습니다.

음성인식기가 제대로된 성능을 보이고 개발 후 현업에 적용할 수 있는 수준이 되느냐의 여부는 해당 도메인 데이터를 얼마나 효과적으로 반영하여 음성인식기 전체를 학습할 수 있느냐의 문제입니다. 이런 방식으로 문제를 해결하는 오픈소스는 kaldi 외 에는 없습니다.

핵심 포인트는 구글이나 애플 마이크로소프트처럼 일반적인 일상 생활에서 쓰는 음성인식기를 목표로 하는 것이 아니라면 음성인식률 비교는 현재 의미가 없습니다. 왜냐하면 음성인식기를 상용화해서 쓰려면 특정 도메인(포스코 ICT의 경우 비즈니스 회의, 산업 현장 등)에서 잘 작동할 수 있도록 범위를 제한하고 충분한 해당 도메인 데이터를 이용한 Customization이 필수이기 때문입니다.

아틀라스랩스의 데이터의 수집 환경이 어떻게 되는지 궁금합니다?

매우 다양한 방식으로 수집된 데이터들입니다. 물론 모어코인이라는 저희가 직접 구축한 크라우드소싱 방식 모바일앱으로 수집된 데이터들은 다양한 사람들의 핸드폰 마이크로부터 매우 다양한 노이즈 환경에서 수집되었지만, 그 외에도 전문적인 녹음 환경인 경우도 있으며 실제 환경들에서 녹음된 후 전사된 데이터들도 있습니다. 유튜브 크롤링 데이터도 포함되어 있습니다.

자체 개발하신 Long Audio Segmentation(aligning reference to hypothesis)이 언급되는데, 추가적인 설명이 없어서, 혹시 어떠한 hypothesis 에 의해서 적용된건지 궁금합니다.

Long audio segmentation 을 수행하기 위해서 일반적으로는 음성인식기에 의해 디코딩된 결과(hypothesis )를 원본 문장에 맞추어(align) 비슷한 위치를 찾는 방법을 사용합니다. 이렇게 하는 경우 디코딩 결과 중, 충분히 믿을 만하지 않는 곳은 학습데이터에서 배제하기 때문에 데이터의 손실을 감수해야 합니다.

아틀라스랩스에서는 상기 방법에 더해서 반대로 원본 문장을 디코딩 결과에 맞추어 세그먼트를 진행하는 방식도 사용합니다. 후자의 경우 전사 결과가 충분히 믿을만하다고 여겨지는 경우 학습 데이터의 손실을 줄이고, 볼륨이 작아 전사를 수행한 사람에게는 들리지만 기존 인식기가 반응을 하지 않는 경우에도 성능을 끌어올리는 방안으로 적용할 수 있습니다.

Telephone-environment tandem filtering이 나오는데 어떤 기술인지 궁금합니다.

학습을 위한 원본 오디오가 전화선 데이터가 아닌 경우 전화선에 사용되는 코덱 (G.711, G.729, AMR-NB 등)을 사용해서 Encoding&Decoding 과정을 거쳐 최대한 전화선 데이터와 비슷한 방식으로 바꾸는 과정입니다.

Lexicon design으로 발음 다양성을 커버했다고 되어있는데, 어떠한 기술인지 알수 있는지 궁금합니다.

Zeroth 오픈소스에서부터 사용된 개념으로, 한국어는 특성상 글자가 정해지면 발음이 정해지는 언어이며, 다른 방식으로 읽을 수 없습니다. 또한 한국어는 띄어쓰기 단위의 어절이 아닌 형태소가 기본 단위입니다. 음성인식 역시 이 형태소 단위로 할 때 좋은 성능을 보입니다.

어절 단위에서 발음을 생성하고 형태소 단위에서 다시 최종적인 형태소의 발음을 확인하는 과정을 거치면, 형태소 단위에서 발음의 다양성을 data-driven 방 식으로 찾아낼 수 있습니다.

아틀라스랩스의 Base Model에 대한 학습 데이터가 대략 어느 정도인지 궁금합니다

내부적으로 사용되는 Base model 에 대한 학습 데이터의 크기는 오디오 3000 시간 그리고 텍스트 데이터 50GB 입니다. (2021. 1)

음성 인식률이 어느정도 되나요?

현재 도메인에 최적화하지 않은 general model을 기준으로 JTBC, KBS, SBS 같은 방송에서 앵커들이 정확하게 발음하는 1인 낭독 형식의 오디오의 경우 97% 정도로 틀리는 부분이 거의 없습니다.

하지만 고객쪽에서 질문했다고 해주셨기 때문에 당연히 콜센터쪽 8kHz 음향모델 인식률에 대한 질문일 것으로 생각되며 전화선 코덱을 거쳐 음질이 떨어지기 때문에, 이 경우 아틀라스랩스뿐만 아니라 존재하는 모든 한국어 음성인식기 인식률이 16kHz 모델보다 떨어집니다.

현재 콜센터 시장 평균을 보면 대략 transfer learning 진행하기 전 85% 정도 나올 수 있으며 최적화 작업 진행후에는 87~ 89% 까지 나온다고 생각하시면 됩니다. 이는 고객쪽과 상담원을 분리하지 않고 그냥 평균을 낸 것이며 분리할 경우, 상담원은 정확한 발음으로 스크립트를 보고 읽는 즉 낭독 형태가 많기 때문에 최대 94% 까지도 올라갑니다. 반대로 고객쪽의 음성인식률은 다양한 전화거는 곳에서 나오는 배경 노이즈(지하철, 길거리 등), 노인, 사투리, 급박한 상황이나 격해진 감정으로 인해 뭉개지는 발음 등을 고려하면 평균 80%를 넘기 힘듭니다.

아틀라스랩스는 고객쪽 데이터 90% 인식률 달성을 목표로 하고 있습니다.

지원하는 오디오 포맷 유형이 따로 있는지요?(flac, wav, mp3, 코덱은 샘플링은 24bit는 안되고 16bit만 인식 등등 가이드가 있는지요?)

기본적으로 Kaldi는 16bit wav 포맷 형식만을 지원합니다. 인코딩된 입력들을 처리하고 싶으시다면 pre-processing 이 필요합니다.