Edge-Cloud Collaborative Intelligent Computing

APPT

(Chaired by Yang Wang (yang.wang1@siat.ac.cn), Shenzhen Institute of Advanced Technology, Chinses Academy of Sciences, China)

With the rapid growth of mobile edge computing (MEC), artificial intelligent (AI) computing has been widely applied to various mobile applications. However, given the high computational workloads, maximizing the efficiency in training and dispatching AI models in edge-cloud environment to the user equipment (UE) for inference is a critical problem. This workshop focuses mainly on maximizing efficiency in the model training and dispatch for the DNN inference.

The major topics include:

Ø Mechanism and architecture design for edge-cloud collaborative intelligent computing

Ø Distributed Learning vs. Federated Learning in edge-cloud environment

Ø Resource constraint inference acceleration on devices, such as knowledge distillation, model compression, model partition

Ø Computing, Communication and Energy Consumption in Edge Intelligence

Ø Innovative Benchmark, Implementations, etc

Ø Etc.

论坛主席：

王洋（中科院深圳先进技术研究院）

论坛主席简介：

王洋现为中科院深圳先进技术研究院研究员，博士生导师，厦门大学兼职教授，主要研究方向为云计算和大数据分析处理，曾在包括中科院计算所、加拿大阿尔伯塔大学、新加坡国立大学、加拿大新布伦瑞克大学、加拿大IBM大西洋高等研究中心以及美国伊利诺伊州理工大学在内的国内外多所大学和研究机构学习和工作，参加过多个不同国家、不同层面的云计算、大数据相关工程与研究项目，其创新工作曾获加拿大阿尔伯塔省创新基金奖(2009-2011)，加拿大富布莱特学者奖(2014-2015)及Cluster2016最佳论文提名、UIC2018最佳论文奖、以及IEEE Edge2020最佳学生论文奖。

论坛议程：

报告及嘉宾简介：

报告1：

嘉宾简介：徐梦炜，北京邮电大学计算机学院副研究员，博士生导师。于北京大学获得博士与本科学位，微软亚洲研究院“铸星计划”访问学者，普渡大学访问学者。主要研究领域为移动/边缘计算和系统软件，近些年专注于边缘设备上的人工智能系统构建与优化工作，相关成果发表于Usenix ATC/MobiCom/MobiSys/UbiComp/IEEE TMC等国际顶级会议期刊，受邀担任UbiComp/ICWS/IEEE TMC等会议期刊审稿人，并参与多项国家级重点项目的研发工作。

报告题目：通向泛在学习的系统软件之路

报告摘要：以智能手机、可穿戴设备、IoT设备为代表的终端设备通过从环境中学习知识并自我演化的现象正逐渐普遍，这一新型的机器学习范式被称为泛在学习。从系统软件的角度出发，这一范式的重要支撑技术是面向终端设备的深度学习训练算法与框架。近些年，尽管以联邦学习为代表的去中心化学习在人工智能领域取得了极大的关注，但系统角度的关键性问题却没有得到解答：例如，在商用智能手机上进行深度学习训练的资源开销有多大？在本次报告中，徐梦炜博士将就这一领域的关键问题分享他的研究与思考。

报告2：

嘉宾简介：王彦伟，浪潮异构加速高级研究员，主要从事面向人工智能领域的分布式异构加速平台的研究以及下一代数据中心计算架构的研究，先后参与了国家重点研发计划分布式异构系统资源管理及数据流性能分析、面向大规模分布式人工智能应用的关键网络技术等多项国家级科研项目，发表论文8余篇，申请发明专利10余项。

报告题目：分布式异构加速技术解析

报告摘要：随着海量数据和分布式人工智能计算平台高并发应用的涌现，其对计算构架的要求主要集中在大规模的计算逻辑和数据带宽，并且面对激增的分布式机器学习需求和计算节点的异构性，所导致的数据交换效率低等问题越来越突出，现有以CPU为调度中心的分布式计算架构遇到了瓶颈，在本次报告中首先对下一代数据中心计算架构进行了讨论，尝试将FPGA计算资源与CPU进行解耦重构，并将FPGA加速器作为独立的计算资源引入到数据中心，在此基础上分享了FPGA分布式异构加速平台的关键问题及相关技术的研究与思考。

报告3：

嘉宾简介：陈星，福州大学计算机与大数据学院副院长、教授、博士生导师，入选福建省杰青、福建省青年拔尖人才。主要研究方向包括软件工程、系统软件等，在TPDS、TCC、TII、中国科学、软件学报等国内外知名期刊和会议上发表论文70余篇，授权国家发明专利18件，先后获得2017年度和2019年度福建省科技进步一等奖（均排名第二），获得福建青年五四奖章、福建运盛青年科技奖等荣誉。

报告题目：面向移动边缘计算的软件自适应计算卸载

报告摘要：移动边缘计算中，计算卸载通过把一些计算密集型任务发送到边缘服务器，来解决移动设备资源受限的问题。由于边缘服务器的地理分布和移动设备的移动性，移动边缘计算中软件的运行环境是高度复杂动态的，这给计算卸载的实施带来极大难度和复杂度。面对高度复杂动态的运行环境，软件感知环境、改变行为、提高性能的“自适应”模式，成为移动边缘计算中计算卸载的必然需求。本报告中，我们针对自适应卸载使能技术和自适应卸载优化技术两方面挑战，介绍我们的解决方案：首先，研究针对自适应卸载的软件自动重构，从程序结构角度支持移动边缘计算中软件的动态卸载；其次，研究计算卸载的开销评估，使得不需要真实执行就能够评估不同卸载方案的执行开销；最后，研究计算卸载的智能调度，使得能够在短时间内完成卸载方案的求解过程。

报告4：

嘉宾简介：涂志莹,哈尔滨工业大学计算机科学与技术学院副教授。他的研究领域是大服务、服务互联网、认知服务。2007年和2009年获得哈尔滨工业大学软件工程学士和硕士学位，2013年获得波尔多大学生产信息化和自动化博士学位。曾获中国人工智能协会人工智能技术进步一等奖（2020年）、黑龙江省教育教学成果奖一等奖（2020年）。

报告题目：多版本共存微服务系统的最优演化规划与执行

报告摘要：基于微服务的系统由一组微服务组成，这些微服务是为敏捷DevOps独立开发和部署的。为了适应用户需求的变化，对微服务进行密集的、迭代式的调整和升级是非常必要的，从而导致系统中出现“多版本微服务共存”的现象。不同微服务之间除了传统的基于API的函数依赖关系外，不同版本的微服务之间也存在着复杂的依赖关系。复杂的依赖关系极大地降低了微服务系统的可维护性，特别是当系统进化以适应用户需求变化时。为了应对这一挑战，提出了一种版本依赖模型来描述不同版本微服务之间的复杂依赖关系，并提出了一种基于贪心的优化算法来生成最优演化计划。实现了一个编程框架（MF4MS）和基于云边缘的基础设施（MI4MS），以便于微服务系统自动执行演化计划。

报告5：

嘉宾简介：吴远，IEEE高级会员、中国计算机学会高级会员，现任澳门大学智慧城市物联网国家重点实验室以及澳门大学计算机与信息科学系副教授。2010年获得香港科技大学电子与计算机工程学系博士学位。2016年至2017年任加拿大滑铁卢大学电子与计算机学系访问学者。曾任浙江工业大学系信息工程学院教授。主要研究领域为绿色通信与计算、移动边缘计算、边缘智能与能源信息网络。曾获得2016年IEEE International Conference on Communications (IEEE ICC’2016)大会最佳论文奖，2017年IEEE TCGCC年度最佳论文奖，曾担任IEEE Communications Magazine, IEEE Network, IEEE Transactions on Industrial Informatics, 以及IET Communications客座编委，现担任IEEE Internet of Things Journal, IEEE Open Journal of the Communications Society, 以及China Communications编委。

报告题目：基于物理层安全的多接入移动边缘计算能效优化计算迁移机制设计

报告摘要：多接入移动边缘计算被认为是能够充分利用未来B5G/6G网络异构多重覆盖从而实现高效边缘计算任务迁移的一种有效方式。但由于无线数据传输过程中射频信号的广播特性，边缘计算中的计算任务（数据）迁移传输也面临潜在的数据问题，即恶意窃听者通过主动采集计算任务迁移输出的电磁波信号并通过暴力解码方式从而窃听获取边缘计算用户的迁移数据信息。本次汇报首先针对单个无线设备的多接入计算任务迁移优化开展讨论，并从计算任务迁移、数据安全级别、分流传输联合优化角度提出面向无线设备能效优化与分流迁移任务数据安全保障的设计方案。在此基础上，进一步讨论多设备协同计算任务迁移方案。特别的，考虑到多无线设备在实现多接入边缘计算过程中在数据传输资源、计算任务资源上所产生的强耦合效应，提出针对多无线设备在执行多接入计算任务迁移过程中的优化迁移排序方法从而实现整体能效优化。

报告6：

嘉宾简介：何水兵，博士，浙江大学计算机学院“百人计划”研究员，博士生导师。主要从事智能计算、并行和分布式计算、存储系统、存内计算等方面研究工作。在国际知名期刊和会议发表论文70多篇，包括IEEE TPDS、IEEE TC、ACM ICS、IEEE ICDCS、IEEE IPDPS等。现担任IEEE Transactions on Parallel and Distributed Systems (TPDS)编委，获2020年IEEE TPDS优秀编辑奖。

报告题目：Auto-prune: 基于忆阻器加速器的自动深度神经网络剪枝和映射

报告摘要：基于新兴忆阻器（ReRAM）的加速器通过支持存内计算来加速深度神经网络（DNN）推理。 DNN的权重矩阵剪枝是减少DNN模型大小的一种广泛使用的方法，它减少了ReRAM资源需求和能量消耗。但是，现有基于ReRAM的权重剪枝工作存在三个问题。首先，它们使用领域专家的启发式规则来削减权重，从而导致剪枝策略全局效果不理想。其次，主要集中在提高压缩率上，因此可能无法满足精度要求。第三，它们忽略了硬件的直接反馈（如所占用的交叉开关的数量或能耗）。在本报告中，我们介绍一个名为AUTO-PRUNE的自动DNN剪枝和映射框架。它利用强化学习（RL）来自动确定考虑精度损失约束的剪枝策略。然后，AUTO-PRUNE将剪枝后的权重矩阵映射到ReRAM交叉阵列上并仅仅存储重要的权重值。最后，为避免错位问题，我们在ReRAM加速器中设计一条新的数据路径，利用操作单元（OU）机制来正确地索引数据，并将输入送给对应的矩阵矢量进行计算。实验结果表明，在相似甚至更高精度下，AUTO-PRUNE的压缩率、面积效率和能效分别是最新工作的3.3倍，3.1倍和3.3倍。

报告7：

嘉宾简介：李建军，教授，获加拿大温莎大学电气与计算机工程博士学位。现任杭州电力大学计算机科学与技术学院教授。他也是图形与图像研究所所长。在此之前，李博士曾在加拿大国家听力学中心（NCA）、美国三菱电子研究实验室（MERL）工作，É科尔理工学院édé瑞士的雷尔·德·洛桑（EPFL）作为访问学者。2010年至2012年，李博士在土耳其比尔肯特大学担任助理教授。同时，他作为研究员为FP-7（现在的地平线2020）3D项目工作。李教授的研究方向是计算机视觉、多媒体图像处理、视频编码和深度学习。主持国家自然科学基金、浙江省重点研究计划等项目。曾获“钱江”学者、浙江省“3D产业与技术应用”创新团队首席科学家等多项奖项。

报告题目：无监督学习方法及其在边缘计算中的应用

报告摘要：对比学习是近年来的热门话题。Facebook、Google、DeepMind等一流研究机构都对其进行了投资，并迅速提出了多种改进模式：Moco系列、SimCLR系列、BYOL、SwAV等，各种方法相互借鉴，各有创新。这就像机器学习领域的军备竞赛。对比学习属于无监督或自监督学习，但多模型的学习效果已经超过了有监督模型。这样的结果非常令人兴奋。基于边缘计算的需要，无监督学习正发挥着重要的作用。