(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210835171.0 (22)申请日 2022.07.15 (71)申请人 重庆大学 地址 400030 重庆市沙坪坝区沙正 街174号 (72)发明人 王宁　费楚钦　向涛　李卫卫　 郭尚伟　何家玲　刘高　 (74)专利代理 机构 重庆青飞知识产权代理有限 公司 50283 专利代理师 彭启龙 (51)Int.Cl. G10L 15/02(2006.01) G10L 15/06(2013.01) G10L 15/08(2006.01) H04L 9/32(2006.01) (54)发明名称 一种基于声波特性的键盘指纹身份信息安 全认证方法 (57)摘要 本发明涉及一种基于声波特性的键盘指纹 身份信息安全认 证方法， 该方法使用麦克风采集 键盘输入密码信息并据此加强身份安全认证， 具 体包括以下步骤： S1、 通过麦克风采集用户使用 键盘打字时发出的声音， 进行音频信号特征提 取； S2、 对提取的音频信号特征进行分析处理， 进 行按键检测； S3、 根据不同按键产生的声音信号 的轻微区别， 基于分类技术方案实现细粒度击键 识别， 完成键盘指纹身份信息安全认证。 本方法 不仅有助于经常使用键盘的用户提升自身的安 全意识以及隐私保护， 也对键盘研发的工作人员 有一定的启发； 另一方面， 使用Pytorch来对数据 进行训练， 形式非常灵活， 更易搭建好神经网络， 会使得系统的整体性能和准确率大大提高， 更加 方便用户开发。 权利要求书2页 说明书4页 附图1页 CN 115171665 A 2022.10.11 CN 115171665 A 1.一种基于声波特性的键盘指纹身份信息安全认证方法， 其特征在于： 该方法使用麦 克风采集键盘输入密码信息并据此加强身份安全认证， 该 方法具体包括以下步骤： S1、 通过麦克风采集用户使用键盘打字时发出的声 音， 进行音频信号特 征提取； S2、 对提取的音频信号特 征进行分析处 理， 进行按键检测； S3、 根据不同按键产生的声音信号的轻微区别， 基于分类技术方案实现细粒度击键识 别， 完成键盘指纹身份信息安全认证。 2.根据权利要求1所述的一种基于声波特性的键盘指纹身份信息安全认证方法， 其特 征在于： 在步骤S1 中， 首先创建数据列表， 以格式为<音 频文件路径\t分类标签>创建这个列 表， 便于之后的读取， 音频分类标签是指键盘输入密码的唯一ID， 不同的音频数据集， 通过 编写对应的生成数据列表的函数， 把 这些数据集都写在同一个数据列表中。 3.根据权利要求2所述的一种基于声波特性的键盘指纹身份信息安全认证方法， 其特 征在于： 在步骤S2中， 对音频信号进行数据分割， 基于击键声音的波形呈现两个不同的峰 值： 手指按下峰值和释放峰值， 只使用按下峰值 来分割数据， 设置如下机制： 1)均值标准化， 使其均方根为1， Xscale＝X‑u/S， 其中X为要归 一化的值， Xscale为归一化之 后的值， u为音频的平均值， S为音频样本的标准差； 2)然后， 将10毫秒小窗口上的FFT系数相加， 以获得每个窗口的能量； 当窗口的能量高 于某个阈值时， 检测到一个按压事 件， 这是一个可调参数。 4.根据权利要求3所述的一种基于声波特性的键盘指纹身份信息安全认证方法， 其特 征在于： 在步骤S2中， 利用libr osa计算音 频特征， 进行STFT短时傅里叶变换以及数据裁剪， librosa是pytho n中的一个工具包， 该库主 要是用于音频处 理， 短时傅里叶变换公式为： 其中， W是窗函数， 用于决定计算傅里叶变换的时域信号长度， 当n取不同值时， 窗函数w (n‑m)沿着x(m)滑动， n代表时域第几个采样点的离散变量， ω代表频率的连续变量， 返回得 到一个 的矩阵； 然后调用librosa中的magphase将之前得到的复数矩阵分 离成幅值和时间， 再对幅值和时间进行随机裁剪最终得到257*257的幅度谱， 其中Shape代 表返回矩阵的规格大小， nfft代表经过快速傅里叶变换的点数， 和采样频率有关系， 为2的n 次方， t代表时域信号长度， ma gphase代 表声谱图。 5.根据权利要求4所述的一种基于声波特性的键盘指纹身份信息安全认证方法， 其特 征在于： 在步骤S3中， 具体包括： 训练模型： 使用的是变形后的resnet34模型， resnet34代表残差网络34层， 模型使用残 差结构的思想： 数据输入层设置为[None,1,257,257]， 此大小就是STFT幅度谱的shape， 每 训练一轮结束后执行一次模型评估， 计算模型 的准确率和观察模型 的收敛情况， 每一轮训 练结束后保存一次模 型， 分别保存了可以恢复训练的模型参数， 也可作为预训练模型参数； 还保存预测模型， 用于之后预测； 所述模型采用的优化算法 是SGD随机梯 度下降法， 公式为 其中 代表计算梯度， θ 代表参数， xi； yi一起代表每个样本， f( θ； xi； yi)表示为每个样本的损失函数， 为正则项； 损失函数使用的是交叉熵损失函数， 公式为 权　利　要　求　书 1/2 页 2 CN 115171665 A 2M表示分类数量， yic表示符号函数， pic表示观测样本i属于类别c的预测概率， L代表损失 loss， N代表当前batc h中的样本量； 训练完成后， 使用预测模型来预测测试集中的音频特征， 然后使用音频特征进行两两 对比， 阈值从0到1， 步长为0.01进行控制， 找到最佳的阈值并且计算准确率， 计算准确度的 方法是使用余弦相似度 其中cosθ表示余弦相似度， Ai代表A向 量， Bi代表B向量； 在编写模型的时候， 模型是有两个输出的， 第一个是模型的分类输出， 第 二个是音频特征输出， 所以在这里要输出 的是音频 的特征值， 有了音频的特征值就可以进 行声纹认证了 。 6.根据权利要求5所述的一种基于声波特性的键盘指纹身份信息安全认证方法， 其特 征在于： 输入两个语音， 通过预测函数获取他们的特征数据， 使用这个特征数据可以求他们 的对角余弦值， 得到的结果可以作为他们相识度。 对于这个相似度的阈值threshold， 来对 音频是否相同的标准进行修改。权　利　要　求　书 2/2 页 3 CN 115171665 A 3