복잡한 음성을 처리하는 SoC를 겨냥한 신경망 IP
사용자가 마이크에서 미터 떨어져있는 원거리 음성 인식에는 리소스가 충분합니다. 음성으로 제어되는 디지털 홈 어시스턴트 및 자동차 인포테인먼트는 의도 된 어플리케이션입니다.
왜 로컬 PCB에서 연설을 처리해야합니까?
"신경망 기반 음성 인식 알고리즘은 대기 시간, 개인 정보 보호 및 네트워크 가용성 문제로 인해 클라우드가 아닌 로컬에서 더 많은 작업을 수행하고 있습니다.
HiFi 5라고 부름이전의 HiFi 4 DSP보다 2 배의 오디오 프로세싱 용량과 4 배의 신경망 (NN) 프로세싱을 제공합니다.
"우리의 목표는 자연 언어를 처리 할 수있는 대형 어휘 엔진을 로컬에서 사용할 수있게 만드는 것입니다."라고 Cadence의 마케팅 책임자 인 Gerard Andrews는 Electronics Weekly에 말했다. "우리는 오픈 소스 음성 인식 신경망을 조사하여 이러한 유형의 네트워크를 실행하기 위해 HiFi 5를 설계했습니다.
처리 요소에는 다음이 포함됩니다.
- 사이클 당 2 개의 128 비트로드를 발행 할 수있는 5 개의 VLIW (very long instruction word) - 슬롯 아키텍처
- DSP 곱셈기 - 누산기 :
8 32x32bit MAC / cycle 또는 16 16x16bit MAC / cycle 지원
주기 당 선택적으로 8 개의 단 정밀도 부동 소수점 MAC - 신경 네트워크 - 곱셈기 누산기 :
32 16 × 8 MAC / 사이클 또는 16 × 4 MAC / 사이클
주기 당 16 개의 반 정밀도 부동 소수점 MAC (선택 사항)
Andrews에 따르면, DSP MAC은 포화에 대한 지원을 포함하고 신경망 MAC은 벡터 값에 행렬을 곱하는 데 최적화되어 있습니다. "너무 많은 신경망에서 벡터를 행렬로 곱하는 데 막대한 시간을 소비하게됩니다."라고 덧붙여 다음과 같이 덧붙입니다 : 몇 개의 MAC을 포함 시킬지, 지원할 데이터 유형과 가중치 길이는 HiFi 4 고객과의 작업을 기반으로합니다.
부동 소수점 연산은 두 가지 사용 사례 (빔 형성 및 반향 제거를위한 음성 프론트 엔드의 단일 정밀도 및 일부 신경 네트워크의 경우 반 정밀도)에 통합되었습니다. Andrews는 "부동 소수점을 사용하면 출시 시간을 단축 할 수 있습니다. "예를 들어, MatLab에서 부동 소수점을 개발하면 고정 소수점으로 변환하는 데 시간이 많이 걸립니다."
승수는 8bit 가중치를 지원합니다. "음성 인식의 경우 8 비트 가중치로 양자화하는 것이 가장 큰 추세이므로 정확도를 너무 많이 조정할 필요가 없습니다. Andrews는 사람들이 4bits로 내려가려고하는 곳에서 발표 된 논문을 보았습니다. "우리는 대부분의 알고리즘이 16x8 비트 멀티 플라이어를 활용할 것으로 예상한다. 마이크로부터의 데이터는 16 비트, 웨이브는 8 비트이다."
다른 가중치 체계의 경우 8 비트뿐만 아니라 4 비트, 2 비트 및 1 비트 연산이 가능합니다.
전력을 절약하기 위해 '서브 쓰레시 홀드 (sub-threshold)'실리콘 공정을 기반으로 구축 된 마이크로 컨트롤러 생산 업체 인 Ambiq Micro는 최초의 HiFi 5 고객이었다.
"컴퓨팅 집약적 인 신경망 기반의 원거리 처리 및 음성 인식 알고리즘을 에너지에 민감한 장치로 가져 오는 매우 어려운 도전 과제를 해결하기 위해 Ambiq Micro는 Cadence 사의 HiFi 5 DSP에 대한 최초의 라이센스 보유자가되었다"고 Ambiq vp of marketing 애런 그래 시안. HiFi 5 DSP를 Ambiq Micro의 하위 임계 값 전력 최적화 플랫폼에 이식함으로써 제품 설계자, ODM 및 OEM은 음성 조화 통합, 명령 및 제어 기능을 추가하여 DSP 개념 및 감각과 같은 오디오 소프트웨어 리더의 기술을 최대한 활용할 수 있습니다. 대화 형 UI를 휴대형 모바일 제품에 제공함으로써 품질이나 배터리 수명을 희생시키지 않습니다. "
지적 재산을 지원하기 위해 신경망 처리, 특히 음성 처리에 일반적으로 사용되는 최적화 된 라이브러리 기능 라이브러리가 있습니다. 이러한 기능은 널리 사용되는 기계 학습 프레임 워크 내에서의 통합을 목표로합니다.
HiFi 5는 기존 오디오 및 음성 코덱의 회사 라이브러리 및 회사의 HiFi 제품 범위의 이전 버전에 맞게 최적화 된 오디오 향상 소프트웨어 패키지와도 호환됩니다.