个人中心
文章发布
退出
作者热门文章
- Java锁的逻辑（结合对象头和ObjectMonitor）
- 还在用饼状图？来瞧瞧这些炫酷的百分比可视化新图形（附代码实现）⛵
- 自动注册实体类到EntityFrameworkCore上下文，并适配ABP及ABPVNext
- 基于Sklearn机器学习代码实战
32
4
前面的文章（ 飞桨paddlespeech语音唤醒推理C浮点实现 ）讲了飞桨paddlespeech语音唤醒推理的C浮点实现。但是嵌入式设备通常CPU频率低和memory小，在嵌入式设备上要想流畅的运行语音唤醒功能，通常用的是定点实现。于是我就在浮点实现（把卷积层和相应的batchNormal层合并成一个卷积层）的基础上做了定点实现。需要说明的是目前完成的是16bit的定点实现，后面会在此基础上做8bit的定点实现.
。
做定点实现主要包括两部分工作，一是模型参数的量化和定Q格式等，二是基于Q格式的定点实现。关于模型参数的量化，我曾写过相关的文章（ 深度学习中神经网络模型的量化 ），有兴趣的可以去看看。我用的是对称量化，这里简述一下这部分的工作.
。
1， 在python下根据paddlepaddle提供的API（named_parameters）得到模型每层的参数（weight & bias），同时看每层的weight和bias的绝对值的最大值，从而确定参数的Q格式，再以这个Q格式对weight 和bias做量化.
。
2， 在python下得到测试集里非常多个文件每层的输入和输出的绝对值的最大值，从而确定每层的输入和输出的Q格式.
。
至于代码的定点化，主要包括如下几点:
。
1， 卷积层的定点化 。
主要是做好乘累加以及输出的移位和防饱和处理。在文章（ 深度学习中神经网络模型的量化 ）里有详细描述，这里就不细讲了.
。
2， sigmoid的定点化 。
调研了一下，sigmoid的定点化主要用查表法来实现。Sigmoid(x)在x<=-8时近似为0，在x>=8时近似为1，因此做表时在[-8,8)之间就可以了。 若表中有256个值，则表中x的间隔是16/256 = 0.0625。表中第一个值对应的是x=-8时sigmoid的值，第二个值对应的是x=-7.9375(-8 + 0.0635 = -7.9375)时sigmoid的值，以此类推。Sigmoid输出的取值范围是（0,1），因此用的Q格式是Q0.15。例如当x=0时，sigmoid(0) = 0.5，表示成Q0.15格式是0x4000。当x在[-8,8)范围内每隔0.0625的256个sigmoid值都算出来并换算成Q0.15格式，就得到表中的256个值了.
具体实现时参考率CMSIS_5的代码，如下图:
做表时把前128个值(x < 0时的)与后128个值(x>=0时的)做了位置上的互换。主要是因为处理时先对x定点化后的16位输入值做右移8位处理，就变成了8位的值，再变成unsigned char（U8）用于做表的索引。 U8(0) = 0, U8(127) = 127, 但U8(-128) = 128, U8(-127) = 129, ……, U8(-1) = 255。所以表中的位置前后部分就互换了。再看sigmoid层的输入与sigmoid函数的输入的关系。 假设sigmoid函数输入的16位定点值为0x1869，右移8位后为0x18，即为24。表中第24个代表的是x=1.5（24 * 0.0675 = 1.5）时的sigmoid值。我的sigmoid层的输入Q格式是Q7.8, 1.5用Q7.8表示就是0x0180, 而函数中要求的是0x18XX，所以需要把层的输入的值做左移4位处理。由于sigmoid函数只对[-8,8)内的值做处理，因此首先需要对层的输入值做[-8,8)的限幅处理。上面两步的代码如下图:
调sigmoid_q15（）时把int_width设成3，就表示输入范围是[-8,8)。 由于输入的x值不一定正好落在表中的那些点上，如x = 0.0325就落在点0.0和点0.0625之间。 为了使sigmoid的输出值更准确，函数中用线性插值法求那些不落在点上的sigmoid值。我在文章（ 基于sinc的音频重采样（二）：实现 ）中讲过线性插值法，有兴趣的可以去看看。要想sigmoid的输出值更准确，还可以扩大表里值的个数，比如变成512个值，代价是多用些memory.
。
3， 确定好评估的指标 。
我在文章（ 深度学习中神经网络模型的量化 ）中对评估指标有所描述。这里我选用的是欧氏距离（Euclidean Distance）。具体调试时浮点实现和定点实现并行运行。即算出的浮点的fbank值作为浮点实现模型的输入，将浮点的Fbank值根据定标转换成定点值作为定点实现模型的输入，然后每层的浮点实现和定点实现并行运行。浮点实现得到的结果是浮点值，定点实现得到的结果是定点值，再根据输出的Q格式转换成浮点值。最后再用欧氏距离对输出结果进行评估。下图给出了某一depthwise卷积层的实现代码。先做浮点的卷积层运算，结果保存在fbankFloat里，然后做定点的卷积层运算，结果保存在fbankFix里，再根据输出的Q格式将fbankFix转换成浮点值，最后算欧氏距离。欧氏距离越小越好.
下图给出了调试好后部分层的欧氏距离的值，都是很小的（图中0/1/2等表示卷积层ID）.
。
4，如何调试 。
模型定点化调试时要从第一层到最后一层一层一层的调试，只有当上一层的欧氏距离达标后再去调下一层。具体到调试某一层时，通过log找到那些浮点值与定点转浮点后的值差值较大的值，再到浮点实现和定点实现里打印出输入和运算后的具体值，分析具体原因。有可能是定点实现里移位防饱和等没做好，也有可能是参数量化没作对，还有可能是输入和输出的Q格式没定好导致误差偏大等。在定输入和输出的Q格式时，是根据绝对值的最大值来的。如果发现精度不够，有可能需要调整输入或输出的Q格式（小数位要多一位，依据是看超出定标最大值出现的次数，次数占比较小就可以）.
。
调试时是用一个音频文件去调。等模型调试完成后要在一个大的数据集上对定点实现做全面的评估，看唤醒率和误唤醒率的变化。我做完定点实现后在一个有两万五千多音频文件的数据集上做评估，跟浮点实现比，唤醒率下降了0.2%，误唤醒率上升了0.3%。说明定点化后性能没有出现明显的下降.
最后此篇关于飞桨paddlespeech语音唤醒推理C定点实现的文章就讲到这里了,如果你想了解更多关于飞桨paddlespeech语音唤醒推理C定点实现的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
32
4
0
我有一个说一些短语的音板应用程序，但是现在我希望能够从男声/女声中改变出来，问题是我不知道该怎么做。任何帮助，将不胜感激。 我正在使用AVFoundation/AVAudioPlayer播放声音。 谢
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 我们不允许提问寻求书籍、工具、软件库等的推荐。您可以编辑问题，以便用事实和引用来回答。 关闭 4 年前。
因为我想在后台录制音频，所以我使用了服务..但是我无法在服务中录制音频。 我在 Activity 中尝试了相同的代码，它对我有用。但是如何在输入语音/语音时在后台进行录音，这意味着如果有语音输入就应该
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 我们不允许提问寻求书籍、工具、软件库等的推荐。您可以编辑问题，以便用事实和引用来回答。 关闭 6 年前。
我有一个音频流，我会从中提取单词(语音)。因此，例如使用 audio.wav 我会得到 001.wav、002.wav、003.wav 等，其中每个 XXX.wav 是一个词。 我正在寻找一个库或程序
不幸的是，我只能说四种语言，那么如果我知道文本的语言，我如何知道我必须使用哪种 OS X 语音？我在Apple的文档中找不到任何有关它的信息。至少有一张有语音/语言的 table 吗？ 最佳答案 您可
有没有办法从命令行使用 MS Speech 实用程序？我可以在 Mac 上完成，但在 Windows XP 上找不到任何引用。 最佳答案 我在这个主题上的 2 美分，命令行单行: 在 Win 上使用
所以我开始了我的不和谐机器人的音乐部分。现在，正如我在上一个问题中所做的那样，这里只是音乐命令的片段:Pastebin #1 在显示 if (msg.member.voiceConnection ==
有谁知道有什么好的 API 或库可以听(语音)文本。我尝试听三种语言的(语音)文本，我想知道最好从哪里开始以及如何开始。我可以对所有三种语言使用通用语音吗？我将使用 eclipse 和 java 作为
首先，我只是一个爱好者，如果这是一个愚蠢的问题或者我太天真了，我很抱歉。 (这也意味着我买不起昂贵的库) 情况是这样的:我正在使用 C#.NET 构建一个简单的语音聊天应用程序(类似于 Ventril
我正在制作一个模块，可以生成和传输语音 IP 数据包。我知道我必须为服务类型字段设置一些值。这个值是多少？ 最佳答案 该值应该是x。 关于c - 语音 ip 的服务类型字段集，我们在Stack Ove
有人能帮帮我吗？我使用 SAPI 语音文本，但我不能设置女声，这是代码，它用男声说话，但我想改变它，我想要女声 #include "stdafx.h" using namespace std; voi
我正在寻找一种方法来为一个项目在 Java 中识别预注册的语音命令，但我还没有想出一个好的方法，我研究了快速傅里叶 和处理 wave 文件 的不同方法，但我无法决定我应该如何实现它。 这个想法很简单，
我在 android 的语音识别 API 工作。 我是 Speech Recognition Api 的新手，我的要求是西类牙语语音，并从 Android 的语音识别 API 中获得西类牙语的最佳匹配
我在 Java 中使用一组名为(MaryTTS[实际上还有更多])的库来将 text to speech 转换为该目的，使用以下代码: public class TextToSpeech {
我正在尝试使用webRTC和php作为服务器端来实现单向语音传输。 查看samples ，我无法理解webRTC机制。 在我看来，流程应该是这样的: 调用者和接收者在服务器上注册 接收者监听来电 调用
我的名字是 Joey，我想知道是否有一种在 C++ 中使用语音的方法，如果有人可以给我指出引用资料和书籍，非常感谢...... 最佳答案 你应该看看 Windows Text-To-Speech AP
关闭。这个问题需要更多focused .它目前不接受答案。 想改进这个问题吗？ 更新问题，使其只关注一个问题 editing this post . 关闭 8 年前。 Improve this qu
我正在使用 Java 语音识别 API - Jarvis，位于 https://github.com/lkuza2/java-speech-api 但是，当我运行应用程序时，出现错误:服务器返回 HT
我们正在做一个需要讲阿拉伯语的项目，我们找到了一个开源工具，Mbrola project , 可以做到这一点。 但是，我还需要一些方法将阿拉伯语文本转换为 SAMPA 语音。那么有人可以帮助我将阿拉伯
我是一名优秀的程序员,十分优秀！