(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111165664.X (22)申请日 2021.09.3 0 (65)同一申请的已公布的文献号 申请公布号 CN 113889737 A (43)申请公布日 2022.01.04 (73)专利权人 西华大学 地址 610039 四川省成 都市金牛区土桥金 周路999号 (72)发明人 黄永茂　何宇　王未来　江婉　 (74)专利代理 机构 成都睿道专利代理事务所 (普通合伙) 51217 代理人 薛波 (51)Int.Cl. H01P 11/00(2006.01) H01P 3/00(2006.01) G06N 20/00(2019.01) G06F 30/367(2020.01) G06F 30/27(2020.01)G06F 115/12(2020.01) (56)对比文件 CN 106887661 A,2017.0 6.23 CN 113285197 A,2021.08.20 CN 110162847 A,2019.08.23 Haiyan Ji n et al. .Slow-Wave Propagation Properties of Substrate Integrated Waveguide Based o n Anisotropic Artificial Material. 《IE EE TRANSACTIONS ON ANTENNAS AND PROPAGATION》 .2017,第4676 - 4683页. Anil Kumar et al. .Design of Substrate IntegratedWaveguide Po wer Divider and Parameter optimizati on using Neural Network. 《IOSR Journal of Electro nics and Communication Engineering》 .2018,第37-43 页. 审查员 张露 (54)发明名称 一种基于强化学习的基片集成波导参数优 化方法及结构 (57)摘要 本发明提供了一种基于强化学习的基片集 成波导参数优化方法及结构， 方法包括如下步 骤： 对待优化基片集成波导进行参数提取： 参数 包括阻抗网络中阻抗单元的偏转角度θ， 以及加 载其上的结构参数L； 根据Q ‑learning算 法， 基于 强化学习中的ε贪婪策略， 以参数夹角θ和尺寸 L做范围变化并代入三维电磁场仿真软件进行变 量仿真测试， 得到参数对应的奖励值或惩罚值； 根据所述参数对应的奖励值 或惩罚值， 得到最优 参数。 本发 明在线下利用深度学习算法学习到最 优的基片集成波导优化参数， 然后在线上优化时 使用， 以快速得到给定设计参数及设计目标下最 优的优化 参数， 提高了 基片集成波导设计效率。 权利要求书1页 说明书5页 附图4页 CN 113889737 B 2022.04.08 CN 113889737 B 1.一种基于强化学习的基片集成波导 参数优化方法， 其特 征在于， 包括如下步骤： 步骤一、 对待优化基片集成波导进行参数提取： 基片集成波导的上表面金属层上设有 由N个直接连接的阻抗单元构成的阻抗网络， N为大于等于1的正整 数， 阻抗单元的延伸方向 与波导宽度方向呈θ 的夹角， 阻抗单元为椭圆形金属贴片及其延伸方向连接的微带线的组 合， 金属贴片 上开设有椭圆形缺口， 其尺寸参数为L， 包括椭圆形金属贴片的短轴长度L1、 长 轴长度L2、 微带线长度L3以及微带线间距离L4； 步骤二、 根据Q ‑learning算法， 基于强化学习中的ε贪婪策略， 以待优化基片集成波导 的参数夹角 θ和尺 寸L做范围变化并代入三 维电磁场仿 真软件进 行变量仿 真测试， 得到参数 对应的奖励值或惩罚值， 其中， 所述 参数夹角 θ 的取值范围为0 °~90°； 步骤三、 根据所述 参数对应的奖励值或惩罚值， 得到最优参数。 2.如权利要求1所述的基于强化学习的基片集成波导参数优化方法， 其特征在于， 所述 步骤二具体包括： 对待优化基片集成波导的参数夹角 θ和尺寸L进行初始化并建模， 其中， 对待优化的参 数取随机数， 通过三维电磁场仿真软件仿真得到 仿真增益并将仿真增益设为初始状态s； 以待优化基片集成波导的参数夹角 θ和尺寸L做范围变化， 构建动作集A， 以及设置奖惩 函数R； 基于强化学习中的ε贪婪策略， 根据初始状态s从动作集A中选择动作， 将初始状态s和 动作输入Q ‑learning强化学习模型进行计算， 得到奖励值或惩罚值， 并对Q表进行更新， 状 态由s转移到s'。 3.如权利要求2所述的基于强化学习的基片集成波导参数优化方法， 其特征在于， 所述 步骤二中， 选取仿真增益在指定频率内的最大值作为初始状态s。 4.一种基片集成波导结构， 其特征在于， 由上述权利要求1 ‑3任一项所述的基于强化学 习的基片集成波导 参数优化方法所 得。 5.如权利要求4所述的基片集成波导结构， 其特征在于， 包括： 介质基片(2)， 所述介质 基片(2)的两侧设有金属化 通孔阵列(3)， 连接上、 下表面金属层(1)； 所述介质基片(2)的上表面金属层(1)上设置有与其连接的阻抗网络(4)， 所述阻抗网 络(4)由N个阻抗单元构成， N为大于等于1的正整 数， 每个阻抗单元为金属层(1)加工蚀刻成 波导宽度方向的金属贴片及其延伸方向连接的微带线的组合， 所述波导宽度方向的金属贴 片上开设有缺口， 相邻阻抗单 元的金属贴片之间由所述 微带线连接 。 6.如权利要求5所述的基片集成波导结构， 其特征在于， 所述金属贴片为椭圆形金属贴 片， 所述缺口设置为椭圆形缺口， 所述微带线连接于椭圆形金属贴片的短轴， 每个阻抗单元 的椭圆形 金属贴片的长轴依次连接 。 7.如权利要求6所述的基片集成波导结构， 其特征在于， 所述椭圆形金属贴片的长轴方 向与波导宽度方向平行。 8.如权利要求6所述的基片集成波导结构， 其特征在于， 所述椭圆形金属贴片的短轴长 度L1/2为0.45mm， 长轴长度L2/2为0.9mm、 微带线长度L3为0.3mm以及微带线间距离L4为 1.5mm。权　利　要　求　书 1/1 页 2 CN 113889737 B 2一种基于强化学习的基片集成波导参数优化方 法及结构 技术领域 [0001]本发明涉及基片集成波导设计技术领域， 具体而言， 涉及一种基于强化学习的基 片集成波导 参数优化方法及结构。 背景技术 [0002]基片集成波导 （Substrate  Integrated  Waveguide, SIW） 技术作为一种新型导波 结构， 它既保持了传统金属波导的高Q值、 低损耗、 高功率容量等优点， 又易于与微带线、 共 面波导等各种平面结构相集 成。 因此， SIW已广泛地运用于微波毫米波电路系统及微波 元器 件的设计， 如滤波器、 定向耦合器、 移相器、 功率分配/合成器等。 对于微波低频段的应用来 说， 由于SIW  固有截止频率的 限制， 其占电路面积仍然 过大， 这制约 着其在紧凑 型微波系统 中的应用。 2014年， 首次提出慢波基片集成波导 （Slow ‑Wave Substrate  Integrated   Waveguide,  SW‑SIW） 的概念。 对于SIW小型化技术来 说， SW‑SIW具有十分重要的工程意义和 科研价值。 [0003]强化学习 （Reinforcement  Learning,  RL） ， 又称再励学习、 评价学习或增强学习， 是机器学习的范式和方法论之一， 用于描述和解决智能体在与 环境的交互过程中通过学习 策略以达成回报最大化或实现特定目标 的问题。 其灵感来源于心理学中的行为主义理论， 即有机体如何在环境给予的奖励或惩罚的刺激下， 逐步形成对刺激的预期， 产生能获得最 大利益的习惯性行为。 这个方法具有普适性， 在其他许多领域都有研究， 例如博弈论、 控制 论、 运筹学、 信息论、 仿 真优化、 多主体系统学习、 群体智能、 统计学以及遗传算法， 然而鲜有 人把强化学习运用在微波器件的参数优化上。 [0004]基片集成波导的宽度以及加载其上的结构尺寸等参数都是影响性能的因素， 多数 人都是在仿真软件上手动调参数仿真， 非常的耗时耗力且不一定能提升性能， 因此如何更 好的设计基片集成波导的参数是一个需要研究 的问题。 而机器学习中的强化学习可以在不 耗费人力的情况 下让基片集成波导 参数在不断试错的过程中达 到更好的仿真效果。 发明内容 [0005]本发明的目的在于提供一种基于强化学习的基片集成波导参数优化方法， 以解决 背景技术中所指出的问题。 [0006]本发明的实施例通过以下技术方案实现： 一种基于强化学习的基片集成波导参数 优化方法， 包括如下步骤： [0007]步骤一、 对待优化基片集成波导进行参数提取： 基片集成波导的上表面金属层上 设有由N个直接连接的阻抗单元构成的阻抗网络， N为大于等于1的正整 数， 阻抗单元的延伸 方向与波导宽度方向呈θ 的夹角， 阻抗单元为椭圆形金属贴片及其延伸方向连接的微带线 的组合， 椭圆形金属贴片上开设有椭圆形缺口， 其尺寸参数为L， 包括椭圆形金属贴片的短 轴长度L1、 长轴长度L2、 微带线长度