(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111653149.6 (22)申请日 2021.12.3 0 (71)申请人 北京深度奇点科技有限公司 地址 100084 北京市海淀区双清路甲79号 配楼3层A3 02室(东升地区) (72)发明人 孙广集　李昊天　戚骁亚　魏红茂　 (74)专利代理 机构 常州品益专利代理事务所 (普通合伙) 32401 代理人 侯慧娜 (51)Int.Cl. G06Q 10/04(2012.01) G06Q 10/06(2012.01) G06Q 50/04(2012.01) G06N 3/12(2006.01) G06N 20/00(2019.01) (54)发明名称 APS动态生产计划排 程算法 (57)摘要 本发明涉及一种APS动态生产计划排程算 法， 包括使用GA遗传算法， 在不考虑动态特性的 前提下， 生成静态排程计划； 当动态特性出现时， 使用强化学习方法优化实际生产中的动态特性； 通过神经网络， 承载不确定性的概率分布， 并将 此概率分布作为前馈预测， 指导与调整下一次GA 遗传算法的排程结果； 从而实现从个体智能涌现 到群体智能， 再从群体智能到进化个体智能的正 反馈闭环， 直至智 能收敛。 本发明通过神经网络 来学习到 各类不确定性的概率分布， 同时通过 强 化学习提供的在线学习机制， 来动态 地应对各类 不确定性， 从而通过GA、 神经网络与强化学习的 结合， 即群智进化算法， 解决FJSSP问题， 为工厂 的智能制造 升级提供完整的解决方案 。 权利要求书2页 说明书5页 附图2页 CN 114298423 A 2022.04.08 CN 114298423 A 1.一种AP S动态生产计划排 程算法， 其特 征在于： 包括以下步骤， 1)使用GA遗传算法， 在不 考虑动态特性的前提下， 生成静态排 程计划； 2)当动态特性出现时， 通过强化学习在线调整GA遗传算法排程中的工单释放规则与关 键参数， 使用GA遗传算法重新进行排 程； 3)通过神经网络， 承载不确定性的概率分布， 并将此概率分布作为前馈预测， 指导与调 整下一次GA遗传算法的排 程结果； 4)不断重复步骤1)～3)， 从而实现从个体智能涌现到群体智能， 再从群体智能到进化 个体智能的正反馈闭环， 直至智能收敛。 2.如权利要求1所述的APS动态生产计划排程算法， 其特征在于： 所述的步骤1)包括以 下步骤： A、 问题初始化； B、 使用遗传算子运算， 通过群体智能涌现出较优解； 通过遗传算子， 完成从父代到子代 的进化过程； C、 不断重复步骤B中的进化过程， 直到满足结束条件； 结束条件可以是运行的一段时 间、 满足对目标函数的期望或达 到一定迭代次数； D、 根据生成的最优解， 按照与编码完全相反的过程进行解码， 从而生成实际的排程计 划。 3.如权利 要求1所述的APS动态生产计划排程算法， 其特征在于： 所述的步骤2)中， 预先 对动态特性进 行分类， 分为随机因素导致的不确定性和系统动力学特性导致的不确定性两 种； 同时预 先设立工单释放 规则池。 4.如权利 要求3所述的APS动态生产计划排程算法， 其特征在于： 所述的步骤3)中， 若动 态特性为随机因素导致的不确定性， 则根据特性出现的预测概率， 通过设置缓冲、 预留产能 的方式， 预先调整物理模型 的建模参数应对； 若动态特性为系统动力学特性导致的不确定 性， 则根据特性出现的预测概 率， 调整建模中的参数， 并将其用作预防性维护的参 考指标。 5.如权利要求2所述的APS动态生产计划排程算法， 其特征在于： 所述的步骤A中， 问题 初始化包括以下步骤： a)根据PPM的建模结果， 对P PM模型进行编码； b)根据设置的目标函数， 将其 转换为Fitnes s健壮函数； c)通过随机的方式生成初始种群。 6.如权利要求2所述的APS动态生产计划排程算法， 其特征在于： 所述的步骤B中的遗传 算子包括， 选择算子， 即通过 Fitness健壮函数， 判断个 体的健壮性； 交叉算子， 即将两个个体的父代染色体进行交叉重组， 从而生成子代， 其中交叉位置的 设置为多种； 以及， 变异算子， 即子代的染色体随机化改变。 7.如权利要求3所述的APS动态生产计划排程算法， 其特征在于： 当不确定性产生时， 包 括以下步骤， I、 将动态排程问题看作MDP马尔可夫时序模型， 即由GA遗传算法生成的排程计划作为权　利　要　求　书 1/2 页 2 CN 114298423 A 2t‑1时刻的状态， 当前不确定性产生后为t时刻的状态； II、 使用强化学习的Q ‑learning方法， 将环境参数、 原目标函数、 动态特性作为模型输 入， 通过试错方法进行训练， 与工单释放 规则池中的具体规则进行匹配； III、 将原 目标函数作为奖励函数， 学习奖励值最大的映射方式， 将学习结果存放到Q ‑ learning查询表中。 8.如权利 要求7所述的APS动态生产计划排程系统， 其特征在于： 所述的步骤II中， 采用 epsilon‑greedy算法增 加搜索的随机性。权　利　要　求　书 2/2 页 3 CN 114298423 A 3