目录
针对通用神经网络处理器下的核内调度问题,我们提出了一套基于分层优化框架的系统性解决方案。该方案首先通过缓存敏感的启发式拓扑排序算法生成最小峰值缓存占用的调度序列,在满足计算图依赖关系的前提下优先选择能够释放或减少缓存占用的节点;随后采用最佳适应算法进行精细化的缓存分配,结合LRU换出策略动态管理多级缓存空间,最小化额外数据搬运量;最后引入多目标遗传算法进行联合优化,在严格控制数据搬运量不显著增加的前提下,通过关键路径分析、流水线并行和数据预取等技术进一步优化总执行时间。这一分层优化策略既考虑了计算图的复杂拓扑结构和严格的数据依赖约束,又充分兼顾了硬件缓存资源的严格限制,通过三层协同优化实现了执行效率与能耗效率的最佳平衡,为NPU在实际边缘计算场景中的高效部署提供了有效的算法支撑。
1. 问题背景与挑战
通用神经网络处理器(NPU)中的核内调度问题是一个复杂的组合优化问题,涉及计算图调度、缓存分配和换入换出策略。该问题具有以下特点:
-
计算图复杂性:计算图为有向无环图(DAG),包含操作节点和缓存管理节点
-
资源约束:多级缓存(L1、UB、L0A/B/C)容量有限,需要高效管理
-
多目标优化:需要同时最小化总执行时间和总额外数据搬运量
-
硬件特
订阅专栏 解锁全文
605

被折叠的 条评论
为什么被折叠?



