自动语音识别(Automatic Speech Recognition) 技术已经深入到现代生活的方方面面，广泛应用于从语音助手、转录服务，到呼叫中心分析和语音转文本翻译等方面，为各行各业提供了创新解决方案，显著提升了用户体验。

　　随着机器学习(ML) 和深度学习的最新进展，自动语音识别技术的精密性已经达到一个新的高度。现在，自动语音识别软件可以非常准确地理解各种口音、方言和说话风格。FunASR 是阿里巴巴达摩院开发的一款先进的开源自动语音识别工具包。它为开发和部署自动语音识别系统提供了一套全面的工具和模型。

　　FunASR 兼容 CPU 和 GPU 计算。虽然 GPU 为训练深度学习模型提供了出色的性能，但 CPU 在边缘侧和数据中心服务器中更为普遍，并且更适合模型推理。因此，FunASR 可以在 CPU 上进行高效的自动语音识别推理，并能在 GPU 加速不可用的情况下（如成本限制、功耗限制或缺乏可用性等），依然能够顺利部署。

　　N2 是一款专为云和边缘计算设计的高性能 CPU 处理器。它可以支持包括人工智能 (AI) 和 ML 在内的多种云工作负载，并增加了 SVE2、Bfloat16 (BF16) 数据格式和 MMLA 等 AI 功能。

　　SVE2 使开发者能够操作更大的数据向量，提升并行处理能力和执行效率，这对于 AI 模型训练和推理阶段涉及的大量数学计算尤为重要。

　　BF16 是一种较新的浮点格式，专为 AI 和 ML 应用而设计。它提供与 32 位浮点数相同的动态范围，但仅占用 16 位存储空间，有效缩小了模型尺寸，并显著提升了计算效率。

　　MMLA 是Armv8.6 中的一个架构特性。它为 GEMM 运算提供了显著加速。GEMM 是 ML 中的一种基本算法，对两个输入矩阵进行复杂的乘法运算，得到一个输出。

　　Arm 此前推出了 Arm Kleidi 技术，这是一套专为开发者设计的赋能技术，旨在增强 ArmNeoverse、Arm Cortex 等 Arm 平台上的 AI 性能。Kleidi 技术广泛涉及从框架到高度优化的算子库，再到充满活力的独立软件供应商 (ISV) 生态系统，全面覆盖了 AI 开发的关键环节。

　　在本文中，我们将分享在基于NeoverseN2 的阿里巴巴倚天 710 平台上部署 FunASR 推理过程及基准测试方法。同时，我们将通过启用 Arm Kleidi 技术进行对比分析，重点介绍与其他基于 CPU 和 GPU 的平台相比，在倚天 710 CPU 上运行 FunASR 推理在性价比方面的主要优势。

　　Paraformer 是阿里巴巴达摩院在 FunASR 开源项目中开发的一款高效自动语音识别模型，旨在提高端到端语音识别系统的鲁棒性和效率。该模型基于 Transformer 架构，并融入了多项创新，以提升其在语音识别中的性能。为了进行基准测试，我们将使用魔搭社区中的 FunASR paraformer 模型[3]。

　　我们还比较了 FunASR paraformer 模型在倚天 710 和阿里云其他同等级别云实例上的性能*。

　　在实际推理部署中，成本是 AI 部署的主要考虑因素之一，对技术的实现和采用有很大的影响。为全面了解 CPU 和 GPU 平台上自动语音识别推理部署的总体拥有成本 (TCO)，我们将 NVIDIA A10 GPU 也纳入对比分析中。得益于 Neoverse N2 出色的性能和能效，倚天 710 平台相较于同等级别 x86 实例和 GPU 平台，展现出更高的成本效益，这一点也体现在了阿里云倚天 710 实例更普惠的定价上。

　　从基准测试结果来看，倚天 710 在自动语音识别推理部署的 TCO 方面具有显著优势，其性价比较同等级别 x86 和 GPU 平台高出 3.5 倍。