前言
最近在研究ASR相关的业务,也是调研了不少模型,踩了不少坑,ASR这块,目前中文普通话效果最好的应该是阿里的modelscope上的中文模型了,英文的话,还是非whisper莫属了,而且whisper很变态,粤语效果也还不错,因此,如果实际业务中需要涉及到不同的语言,还是更推荐whisper多一点
一、faster-whisper简单介绍
faster-whisper是使用CTranslate2对OpenAI的Whisper模型的重新实现,CTranslate2是一个用于Transformer模型的快速推理引擎。
在使用更少内存的情况下,该实现比openai/whisper在相同精度下快4倍。同时在CPU和GPU上进行8位量化,可以进一步提高算法效率。
官方仓库:https://github.com/SYSTRAN/faster-whisper
二、pyannote.audio介绍
pyannote.audio是一个用Python编写的用于扬声器diarization的开源工具包。基于PyTorch机器学习框架,它具有最先进的预训练模型和管道,可以进一步对自己的数据进行微调,以获得更好的性能。
官方仓库:https://github.com/pyannote/pyannote-audio
三、faster-whisper + pyannote.audio 实现语者识别
实际上只要将二者的识别结果进行结合即可
from pyannote.core import Segment
def get_text_with_timestamp(transcribe_res):
timestamp_texts = []
for item in transcribe_res:
start = item.start
end = item.end
text = item.text.strip()
timestamp_texts.append((Segment(start, end), text))
return timestamp_texts
def add_speaker_info_to_text(timestamp_texts, ann):
spk_text = []
for seg, text in timestamp_texts:
spk = ann.crop(seg).argmax()
spk_text.append((seg, spk, text))
return spk_text
def merge_cache(text_cache):
sentence = ''.join([item[-1] for item in text_cache])
spk = text_cache
646



被折叠的 条评论
为什么被折叠?



