7:27| 11:13| 12:42| 23:48| 18:11| 15:32| 0:17| 15:54| 3:12| 20:39| 8:52| 12:53| 12:49| 4:57| 15:09| 18:02| 15:03| 0512| 8:49| 10:09| 22:23| 10:53| 21:01| 0803| 19:30| 23:23| 14:06| 2:48| 0218| 7:52| 17:28| 15:04| 0918| 0:11| 0329| 0:20| 1:06| 0222| 22:23| 14:34| 18:54| 1123| 0:17| 0207| 19:00| 0:16| 11:18| 23:34| 22:57| 6:20| 7:46| 3:46| 17:22| 1111| 3:22| 6:15| 11:58| 3:57| 0927| 0329| 21:29| 6:54| 6:00| 21:23| 19:37| 7:40| 15:27| 18:15| 15:31| 14:28| 0715| 19:49| 12:26| 10:57| 13:35| 4:20| 10:06| 12:20| 22:20| 21:09| 10:40| 6:05| 22:16| 1204| 20:50| 4:42| 13:30| 6:11| 0:09| 22:37| 20:37| 19:44| 11:18| 18:46| 22:17| 21:46| 3:50| 20:04| 0:33| 0623| 1116| 18:14| 1114| 8:02| 20:07| 10:12| 6:54| 1018| 16:30| 5:32| 21:31| 0317| 19:57| 5:13| 20:35| 0426| 0307| 5:20| 23:32| 0503| 2:13| 1:02| 20:59| 5:10| 0114| 4:39| 9:28| 12:44| 0611| 1210| 7:13| 0708| 8:14| 16:10| 19:33| 20:37| 2:03| 16:35| 6:02| 13:29| 23:15| 0404| 0820| 19:07| 8:12| 11:53| 15:03| 14:35| 1:38| 13:54| 16:57| 10:42| 14:33| 12:24| 22:41| 18:15| 10:54| 3:46| 0916| 17:04| 21:52| 16:26| 14:45| 9:39| 10:28| 19:04| 5:37| 6:33| 0:49| 14:51| 5:30| 14:42| 17:43| 0330| 22:07| 17:31| 6:38| 10:36| 0:37| 10:22| 2:15| 0515| 17:57| 4:28| 23:36| 12:47| 9:53| 14:32| 13:29| 6:56| 20:05| 23:00| 21:03| 22:42| 4:14| 13:36| 1207| 12:31| 2:26| 10:29| 5:30| 0223| 8:14| 1125| 0415| 13:11| 0425| 11:01| 15:17| 21:38| 0127| 0214| 6:49| 20:59| 20:36| 0601| 5:37| 19:11| 6:47| 0:11| 12:44| 0520| 14:58| 7:02| 7:55| 15:06| 20:30| 2:51| 11:39| 0207| 3:41| 20:39| 10:56| 17:52| 7:55| 22:38| 10:40| 21:40| 0307| 5:24| 15:53| 0620| 0309| 7:14| 5:15| 3:39| 0818| 0819| 0:37| 10:31| 19:29| 19:10| 0328| 22:55| 0225| 19:55| 13:03| 4:51| 5:41| 3:21| 0731| 0904| 15:40| 9:26|

合肥21岁大学生留遗言后离家出走 在黄山坠崖身亡

2018-06-24 15:10 来源:河南金融网

  合肥21岁大学生留遗言后离家出走 在黄山坠崖身亡

  尤其是要抓住十九大报告提到的节能环保产业、生态产业、高端装备制造业、高新技术产业、大文化产业、大健康产业、现代农业等七大行业发展带来的新机遇。制定发放《党支部工作手册》等,着力规范“三会一课”台账,促使机关党支部工作全程留痕、有迹可查。

邀请社会公众对111个单位作风情况进行网上测评,委托第三方机构对省级机关20个单位作风情况进行评估,促进机关改进作风、提升效能。  是否涉及商业机密,行政机关应当审查举证  【案情简介】2011年10月10日,王宗利向天津市和平区信息公开办申请公开和平区金融街公司与和平区土地整理中心签订的委托拆迁协议和支付给土地整理中心的相关费用的信息。

    百舸争流,奋楫者先。  大会执行主席刘家义、刘赐贵、张庆伟、胡和平、段春华、贺一诚在主席台执行主席席就座。

  网友:网友关键是一把手是否真正重视网友:走过路过关键看行动、根本在担当,决不能只重业务不抓党风、只看发展指标不抓惩治腐败。要深入基层、深入实际,既解剖“麻雀”,又了解全局;既到工作局面好和先进的地方去总结经验,又到困难较多、情况复杂、矛盾尖锐的地方去研究问题。

  杨洁篪等参加会议。

  广泛开展中华经典诵读、道德大讲堂等文化宣传活动,深入发掘地域文化、民俗文化内涵,大力弘扬地域特色传统文化。

  本书作者均为中央党校的知名专家学者。  习近平强调,中国将继续加强本国核安全,积极推进国际合作,分享技术和经验,贡献资源和平台。

  (执笔人:赵兴家)

  总统先生是今年第一位来华访问的非洲国家元首,也是今年中国全国“两会”后到访的首位外国元首。守公德,就是要强化宗旨意识,全心全意为人民服务,恪守立党为公、执政为民理念,自觉践行人民对美好生活的向往就是我们的奋斗目标的承诺,做到心底无私天地宽。

  “无情未必真豪杰,怜子如何不丈夫”,在战争间歇给母亲写信,在临刑前给孩子寄语,英雄不仅是人格的丰碑,更闪耀着人性的光辉。

  开展办内巡视,分2批次对6个单位进行巡视,重点对遵守党的政治纪律政治规矩情况进行督查,不断强化“四个意识”。

    【谈规矩】这里是立规矩的地方。中直工委领导对做好征文评选工作高度重视,提出明确要求。

  

  合肥21岁大学生留遗言后离家出走 在黄山坠崖身亡

 
责编:
注册

合肥21岁大学生留遗言后离家出走 在黄山坠崖身亡

把革命精神同新时代的特点和要求结合起来,把革命精神与现代化建设结合起来,弘扬传承好革命文化红色基因。


来源:机器之心

原标题:开源 | Intel发布神经网络压缩库Distiller:快速利用前沿算法压缩PyTorch

原标题:开源 | Intel发布神经网络压缩库Distiller:快速利用前沿算法压缩PyTorch模型

选自intel

作者:Neta Zmora

机器之心编译

参与:思源

近日,Intel 开源了一个用于神经网络压缩的开源 Python 软件包 Distiller,它可以减少深度神经网络的内存占用、加快推断速度及节省能耗。Distiller 为 PyTorch 环境提供原型和分析压缩算法,例如产生稀疏性张量的方法和低精度运算等。

项目地址:https://github.com/NervanaSystems/distiller/

文档地址:https://nervanasystems.github.io/distiller/index.html

深度学习正快速发展,它从输入法到汽车已经应用到各种场景和设备当中。但它们所采用的深度神经网络在运算时间、计算力、内存和能耗上都有非常大的需求。很多开发者考虑到硬件和软件的限制及实际应用的环境,而在算法准确度、速度和功耗之间取得平衡。近日,Intel 人工智能实验室开源了 Neural Network Distiller,它是一个为神经网络压缩算法研究而设计的 Python 包。Intel 认为深度网络的压缩可以成为促进更多的研究成果投入应用,并实现更优秀的功能。

深度网络压缩

面向用户的深度学习应用需要高度重视用户体验,因为交互式的应用通常对程序的响应时间非常敏感。谷歌的内部研究发现即使很小的服务响应延迟,它对用户的影响也非常显著。而随着越来越多的应用由深度模型提供核心功能,不论我们将模型部署在云端还是移动端,低延迟的推断变得越来越重要。

减少计算资源和加快推断速度的一种方法是从一开始就设计一种紧凑型的神经网络架构。例如 SqueezeNet 和 MobileNet 都旨在压缩参数数量与计算量的情况下尽可能保留较高的准确度,而 Intel 人工智能实验室也在设计这种紧凑型的模型,即提出了一种用于深层 DNN 的无监督结构学习方法,以获得紧凑的网络结构与高准确率。

而另一种降低计算力需求的方法直接从通用且性能优秀的深度网络架构开始,然后通过一些算法过程将其转换为更加短小精悍的网络,这种方法即神经网络压缩。

神经网络压缩是降低计算力、存储空间、能耗、内存和推断时间等需求的过程(至少其一),它同时还需要保持其推断准确性不下降或在可接受的范围内。通常这些资源是相互关联的,减少一种资源的需求同时会降低其它资源的需求。此外,即使我们使用前面几种紧凑的小模型,我们同样可以使用压缩算法进一步减少计算资源的需求。

其实很多研究都表明深度神经网络存在着非常高的参数冗余,虽然这些参数冗余在收敛到更优解时是非常必要的,但在推断过程中可以大量减少参数与计算量。总体而言,绝大多数压缩方法在于将巨大的预训练模型转化为一个精简的小模型,且常用的方法有低秩近似、神经元级别的剪枝、卷积核级别的剪枝、参数量化及知识蒸馏等。

例如在量化这一常见的压缩算法中,我们只需储存 k 个聚类中心 c_j,而原权重矩阵只需要记录各自聚类中心的索引就行。在韩松 ICLR 2016 的最佳论文中,他用如下一张图非常形象地展示了量化的概念与过程。



如上所示权重矩阵的所有参数可以聚类为 4 个类别,不同的类别使用不同的颜色表示。上半部分的权重矩阵可以取聚类中心,并储存在 centroids 向量中,随后原来的权重矩阵只需要很少的空间储存对应的索引。下半部是韩松等研究者利用反向传播的梯度对当前 centroids 向量进行修正的过程。这种量化过程能大量降低内存的需求,因为我们不再需要储存 FP64 或 FP32 的数据,而只需要储存 INT8 或更少占位的数据。

Distiller 简介

Intel 主要根据以下特征和工具构建了 Distiller:

  • 集成了剪枝、正则化和量化算法的框架

  • 分析和评估压缩性能的一组工具

  • 当前最优压缩算法的示例实现



剪枝和正则化是两种可以令深度网络参数张量产生稀疏性的方法,其中稀疏性度量的是参数张量中有多少数值精确为 0。稀疏张量可以更紧凑地储存在内存中,并且可以减少执行 DNN 运算所需要的计算量和能耗。量化是另一种减少 DNN 中数据精度的方法,它同样会减少内存、能耗和计算力需求。Distiller 为量化、剪枝(结构化剪枝和细粒度剪枝)和诱导稀疏性的正则化等方法提供了越来越多的当前最优算法,并支持训练更快、更紧凑和更节能的模型。

为了帮助研究者更专注于它们的任务,Intel 尝试提供一些大多数研究者都需要了解的压缩算法,并同时提供了高级和底层函数以方便使用。例如:

  • 剪枝方法在深度网络经过训练后,动态地从卷积网络层级移除卷积核与通道。Distiller 将在目标层配置中执行这些变化,并且同时对网络的参数张量做剪枝。此外,Distiller 还将分析模型中的数据依赖性,并在需要时修改依赖层。

  • Distiller 可以自动对模型执行量化操作,即使用量化后的层级副本替代具体的层级类型。这将节省手动转换每一个浮点模型为低精度形式的工作,并允许我们专注于开发量化方法,且在多种模型中扩展和测试它。

Intel 已经通过 Jupyter Notebook 介绍并展示如何从网络模型和压缩过程中访问统计信息。例如,如果我们希望移除一些卷积核,那么可以运行用于滤波器剪枝敏感性分析的模块,并得到类似以下的结果:

Jupyter Notebook 地址:https://nervanasystems.github.io/distiller/jupyter/index.html



Distiller 的统计数据可导出为 Pandas DataFrames,它可用于数据选择(索引和截取等)和可视化。

Distiller 还展示了一些示例应用,并使用量化和剪枝等方法压缩图像分类网络和语言模型。Distiller 还实现了一些神经网络压缩的前沿研究论文,它们也可以作为我们尝试新方法的模板。此外,我们也可以在官方 PyTorch 深度预训练模型上使用这些压缩算法,以降低计算资源的需求。

Distiller 压缩示例:https://nervanasystems.github.io/distiller/model_zoo/index.html

这只是个开始

Distiller 是一个用于压缩算法研究的库,它致力于帮助科学家和工程师训练并部署 DL 的解决方案、帮助发布研究论文以及促进算法更新与创新。Intel 目前也在添加更多的算法、特征和应用领域,如果读者对于研究并实现 DNN 压缩算法很感兴趣,也可以帮助改进并提升 Distiller 库。最后,Distiller 非常欢迎新的想法与深度网络压缩算法,同时也希望开发者能多发现该库的 Bug。

[1] Forrest N. Iandola, Song Han, Matthew W. Moskewicz, Khalid Ashraf, William J. Dally and Kurt Keutzer. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size.」_arXiv:1602.07360 (https://arxiv.org/abs/1602.07360)_ [cs.CV]

[2] Andrew G. Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto and Hartwig Adam. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications. (_https://arxiv.org/abs/1704.04861_).

[3] Michael Zhu and Suyog Gupta,「To prune, or not to prune: exploring the efficacy of pruning for model compression」, 2017 NIPS Workshop on Machine Learning of Phones and other Consumer Devices (_https://arxiv.org/pdf/1710.01878.pdf_)

[4] Sharan Narang, Gregory Diamos, Shubho Sengupta, and Erich Elsen. (2017).「Exploring Sparsity in Recurrent Neural Networks.」(_https://arxiv.org/abs/1704.05119_)

[5] Raanan Y. Yehezkel Rohekar, Guy Koren, Shami Nisimov and Gal Novik.「Unsupervised Deep Structure Learning by Recursive Independence Testing.」, 2017 NIPS Workshop on Bayesian Deep Learning (_http://bayesiandeeplearning.org.wangfengxing.com/2017/papers/18.pdf_). 


本文为机器之心编译,转载请联系本公众号获得授权

?------------------------------------------------

加入机器之心(全职记者 / 实习生):hr@jiqizhixin.com

投稿或寻求报道:content@jiqizhixin.com

广告 & 商务合作:bd@jiqizhixin.com

  • 好文
  • 钦佩
  • 喜欢
  • 泪奔
  • 可爱
  • 思考

凤凰网科技官方微信

凤凰新闻 天天有料
分享到:
星子县 木古乡 下山后 大狼垡村 宽仁社区
天宝镇 拉萨市 河北进步道 庆丰乡 许家村村