2020年“我们的中国梦”文化进万家活动在广西三江启动

2020年“我们的中国梦”文化进万家活动在广西三江启动

2020年“我们的中国梦”——文化进万家活动在广西三江启动

新华社南宁12月7日电(记者郭轶凡)由中央宣传部、中央文明办、文化和旅游部、国家广播电视总局、中国文联联合主办的2020年元旦春节期间“我们的中国梦”——文化进万家活动启动仪式暨首场慰问演出,7日上午在广西柳州市三江侗族自治县林溪镇冠洞村举行。

以模型压缩和加速为代表的深度学习计算优化技术是近几年学术界和工业界最为关注的焦点之一。随着人工智能技术不断地落地到各个应用场景中,在终端上部署深度学习方案面临了新的挑战:模型越来越复杂、参量越来越多,但终端的算力、功耗和内存受限,如何才能得到适用于终端的性能高、速度快的模型? 

在本次启动仪式上,《我爱你中国》《我和我的祖国》等爱国歌曲,《脱贫宣言》《都说变了样》等扶贫歌曲,广西多声部的侗族大歌……来自全国各地的艺术家们呈现了一个个精彩的节目,博得现场观众经久不息的掌声。

在确定好模型之后,我们先对网络进行剪枝,去掉不重要的参数量和计算。在这之前,我们对每一层进行了鲁棒性分析。具体而言,对于每一层,我们进行稀疏度从0.1到0.9的剪枝,然后测试网络精度。图1显示了网络各层对不同稀疏度的影响,可以看出某几层对网络剪枝特别敏感,而其余一些层对剪枝却很鲁邦。基于此,我们确定了每一层的稀疏度,然后删除不重要的节点,再对剩余连接进行重新训练。我们可以实现在稀疏度大概为60%的情况下,精度损失只有0.4%。

中国政法大学(分数线,专业设置)问鼎2020中国政法类大学排名冠军,2所高校跻身世界高水平大学(6★)行列

在对网络进行剪枝以后,再对网络进行定点量化。我们采用了均匀量化策略,量化公式如下:

对于计算量,乘法计算量和加法计算量分别计算。对于稀疏而言,稀疏的位置可以认为计算量为0。对于定点量化,32比特操作算作一个操作,低于32比特的操作按照比例计算。操作的比特数认为是两个输入操作数中较大的那一个,例如一个3比特数和一个5比特数进行计算,输出为7比特数,那么该操作数为5/32。

雷锋网原创文章,。详情见转载须知。

团队结合极低比特量化技术和稀疏化技术,在ImageNet任务上相比主办方提供的基准模型取得了20.2倍的压缩率和12.5倍的加速比,在CIFAR-100任务上取得了732.6倍的压缩率和356.5倍的加速比,遥遥领先两个任务中的第二名队伍。

由Google、Facebook、OpenAI等机构在NeurIPS2019上共同主办的MicroNet Challenge竞赛旨在通过优化神经网络架构和计算,达到模型精度、计算效率、和硬件资源占用等方面的平衡,实现软硬件协同优化发展,启发新一代硬件架构设计和神经网络架构设计等。

最终评分指标包括存储压缩和计算量压缩两部分,均采用理论计算量和存储进行计算。

紧扣全面建成小康社会的时间节点,聚焦脱贫攻坚主题,与新时代文明实践中心试点工作结合,深入开展结对帮扶,是今年文化进万家工作的一大特点。2020年的文化进万家活动将延续以往小型化、灵活机动、人员精干的文化文艺小分队形式,以国家级贫困县特别是14个集中连片特困区内的深度贫困县为重点,深入基层开展慰问演出、文化帮扶、辅导交流等内容丰富、形式多样的文化文艺活动,为奋战在脱贫攻坚第一线的广大群众加油鼓劲。

对于激活,每层引入一个浮点数尺度因子;而对于权值,每个3D卷积核引入一个浮点数尺度因子。在给定比特数的情况下,以上优化公式唯一的待求解参数就是尺度因子,即优化目标为,我们采用迭代优化的方式计算出每一层的尺度因子。在求解尺度因子之后,与网络剪枝类似,我们需要对网络进行微调来恢复精度,在网络微调阶段,我们保持尺度因子一直不变。通过以上方式,我们可以实现在激活7比特,参数大部分为3、4、5比特的情况下,网络精度损失为0.5个点,最终网络模型top-1精度为75.05%。

元旦春节期间“我们的中国梦”——文化进万家活动是在全国范围内广泛开展的一项重点文化惠民活动。据悉,此次启动仪式结束后,中央宣传文化部门组织了240多支文化文艺小分队,各省(区、市)组织了2800多支省级文化文艺小分队,将在2020年元旦春节期间,深入基层,把慰问演出、文艺辅导、展览讲座等活动送到百姓身边。

7日,桂北山区寒意渐起,启动仪式现场却气氛火热。“今天高兴,像过节一样。”77岁的冠洞村冠小屯村民石万清说,平时村里老人每月也会办一两次文艺活动,但是看到这么多知名艺术家来村里表演还是第一次。听说有演出,一大早,老老少少的村民便从四处赶来,把平日举办活动的鼓楼坪挤得满满当当。

 图1 网络各层对剪枝操作的鲁棒性分析

最后,我们进行了算子融合,把量化中的尺度因子、卷积层偏置、BN层参数等融合成一个Scale层,以进一步降低网络的存储和计算量。最终,我们的方法在ImageNet上只有0.34M参数和93.7M计算量,相对于基准模型实现20.2倍的压缩和12.5倍的加速;而在CIFAR-100上,我们的模型存储仅有49.8K,计算量为29.4M,相对于基准模型压缩732.6倍,加速365.5倍。

文化文艺小分队不仅为基层群众奉献了文化的盛宴,也送去了党中央的亲切关怀和问候。在启动仪式现场,中宣部向三江县的26支村级文艺队分别赠送了一套音响设备,向移民安置社区的中小学赠送了少儿图书。来自中国文艺志愿者协会的乌兰图雅等艺术家与三江县侗族文艺爱好者结对帮扶,开展辅导培训活动。

MicroNet Challenge竞赛对于人工智能软件、硬件的未来发展都有着非比寻常的意义,此次不仅集结了MIT、加州大学、KAIST、华盛顿大学、京都大学、浙大、北航等国内外著名前沿科研院校,同时还吸引了ARM、IBM、高通、Xilinx等国际一流芯片公司的参与。

对于存储,所有在推理阶段需要使用的参数均需要计算在内,比如稀疏化中的mask、量化中的字典、尺度因子等。对于存储,32比特位算作一个参数,低于32比特的数按照比例计算,例如8比特数算作1/4个参数。 

我们主要采用稀疏化+量化的方式,主要包括模型选择、网络剪枝、定点量化、算子融合等操作,实现大规模稀疏和极低比特压缩。

青海省海北藏族自治州委原常委、门源县委原书记白顺兴(副厅级)涉嫌贪污罪、受贿罪、行贿罪一案,由青海省监察委员会调查终结,移送检察机关审查起诉。日前,青海省人民检察院依法以涉嫌贪污罪、受贿罪、行贿罪对白顺兴作出逮捕决定。案件正在进一步办理中。

首先是模型选择,复杂的模型往往具有更高的精度,参数量和计算量较大,但同时压缩空间也比较大;轻量级模型精度相对较低,但参数量和计算量相对较小,同时对网络压缩也比较敏感,因此需要再模型复杂度和精度之前进行权衡。我们选择轻量级、同时精度略高于比赛要求的网络。最终在ImageNet上选择了MixNet-S模型(精度75.98%),在CIFAR-100上选择了DenseNet-100(精度81.1%)。

针对比赛任务,团队在报告中给出解决办法:采用量化和稀疏化技术,将深度学习算法模型进行轻量化和计算提速,以大幅降低算法模型对算力、功耗以及内存的需求,让低端设备实现人工智能方案。团队成员冷聪副研究员表示,量化及稀疏化技术也是深度学习软、硬件协同加速方案的突破口。通过将其与人工智能硬件架构设计紧密结合,可以进一步降低人工智能技术落地难度,让AI更为易得易用。

本比赛总共包括三个赛道:ImageNet分类、CIFAR-100分类、WikiText-103语言模型。在三个赛道上,参赛团队要求构建轻量级网络,在精度满足官方要求的条件下,尽可能降低网络计算量和存储。对于ImageNet分类,要求至少达到75%的top-1精度,而对于CIFAR-100,top-1精度需要达到80%以上。

山西省太原市人大常委会原党组成员、副主任王建勋(副厅级)涉嫌受贿罪一案,由山西省监察委员会调查终结,移送检察机关审查起诉。日前,山西省人民检察院依法以涉嫌受贿罪对王建勋作出逮捕决定。案件正在进一步办理中。

艾瑞深研究院中国校友会网是得到社会各界认可的、有良好公信力的第三方大学评价咨询研究机构。自2003年起,艾瑞深中国校友会网(cuaa.net)已连续18年发布校友会中国大学排名、中国一流学科排名、中国一流专业排名和中国大学教学质量排名等榜单。校友会中国大学排名已成为中国最具影响力、权威性和公信力的大学评价领先品牌,是目前中国大学评价体系最为系统全面、评价指标与参评高校数量最多的大学排名。《2020中国大学评价研究报告—高考志愿填报指南》由艾瑞深中国双一流建设评价课题组编写完成,报告将由科学出版社公开出版发行,旨在为2020年全国高考、考研考生与外国来华留学生填报志愿挑选大学和专业提供权威参考指南。

MicroNet Challenge竞赛包括ImageNet图像分类、CIFAR-100图像分类和WikiText-103语言模型三个子任务。来自自动化所程健研究员实验室的团队参加了竞争最激烈的ImageNet和CIFAR-100两个子赛道的比拼。历经五个多月的厮杀,团队一举包揽了图像类的全部两项冠军。

报告显示,在艾瑞深中国校友会网2020中国大学排名1200强中,中国政法大学、西南政法大学、华东政法大学、中国人民公安大学、西北政法大学、中国刑事警察学院、中国人民警察大学、上海政法学院、甘肃政法大学、广东警官学院、中国青年政治学院名列校友会2020中国政法类大学排名前10强。最新校友会2020中国大学星级排名中,中国政法大学、中国人民公安大学等荣膺2020中国六星级大学(6★)美誉,跻身世界高水平大学、中国顶尖大学行列。