栏目分类

热点资讯

下载澳门银座

你的位置:下载澳门银座 > 下载澳门银座 >

下载澳门银座 亚马逊推出高性能 PyTorch 数据集库 —— S3 Plugin

2021-09-11 14:26

亚马逊近日为 Facebook 的 PyTorch 机器学习框架 推出了一个名为 S3 Plugin 的数据集库,旨在协助数据科学家访问存储在 AWS S3(Amazon Web Services Simple Storage Service) 中的数据集。它专为矮迟误而设计,亚马逊外示,S3 Plugin 为任何周围的数据集挑供了流式传输数据的功能下载澳门银座,清除了挑供本地存储容量的必要。

参考消息网8月17日报道 据香港《南华早报》网站8月15日报道,由于新冠肺炎影响航运业,中非贸易因集装箱短缺而放缓。

参考消息网8月17日报道 反中乱港非法组织“民间人权阵线”(简称“民阵”)15日宣布解散。香港政界认为,祸港多年的“民阵”垮台是大势所趋、民心所向,彰显香港国安法的强力震慑作用,香港由乱及治再向前迈出一大步。但解散不是逃避追责的挡箭牌,除恶务尽,须彻查这个非法组织的累累恶行,彻底铲除乱港“祸根”。

参考消息网8月17日报道 据新加坡《联合早报》网站8月16日报道,针对阿富汗当前的局势,中国外交部发言人华春莹表示,阿富汗局势已经发生重大变化,尊重阿富汗人民的意愿和选择。

参考消息网8月17日报道 据路透社8月16日报道下载澳门银座,随着大多数地区控制住最新疫情,中国新增本土病例已连续多日下降。同时部分地区继续保持警惕,开展大规模核酸检测或推迟开学。

参考消息网8月17日报道 据彭博新闻社网站8月16日报道,尽管日本在重新开放边境方面仍在主要经济体中居于落后地位,但春秋航空和日本航空的合资公司春秋航空日本对疫情后的中日旅游繁荣充满期待。

PyTorch 是一个基于 Torch 库的开源机器学习库,用于计算机视觉和自然说话处理等行使,主要由 Facebook 的 AI 钻研实验室开发。它是在修改的 BSD 应允下发布的免费开源柔件,底层由 C++ 实现。

很众深度学习柔件都竖立在 PyTorch 之上,包括特斯拉自动驾驶、Uber 的 Pyro 和 HuggingFace 的 Transformers 等。PyTorch 主要挑供了两个高级功能:

Tensor 计算(如 NumPy),始末图形处理单元(GPU)进走强力添速 竖立在基于类型的自动微分编制上的深度神经网络

自 2016 年 10 月发布以来,PyTorch 在数据科学和开发人员社区中得到迅速成长。2019 年,该平台的贡献者数目同比添长超过 50%,达到近 1200 人。按照钻研机构的分析发现,2019 年的每个主要的人造智能会议都有大片面论文是用 PyTorch 实现的,2019 年上半年,论文中 PyTorch 的引用量添长了 194% 以上。

亚马逊在博客文章中写道:"有了 PyTorch 深度学习容器中的这项功能,用户能够行使 PyTorch 数据集和数据添载器 API 直接操纵 S3 中的数据,而不必要先在本地存储中下载。针对 PyTorch 开发的 S3 Plugin 挑供了从 Amazon S3 到 PyTorch 操纵数据的原生体验,而无需在代码中增补复杂性。"

S3 Plugin 的上风包括:

PyTorch 声援两栽差别类型的数据集,适用于 PyTorch 的 S3 Plugin 可按照你的必要变通地操纵两者; S3 Plugin 能够操纵各栽格式的训练数据来训练机器学习模型。它与文件格式无关,并将 Amazon S3 上的对象表现为 blob,并能对从 Amazon S3 授与的输入进走其他转换; S3 Plugin 挑供了一栽手段,能够操纵 ShuffleDataset 在内存中洗数据,或者在扩展 S3IterableDataset 时始末挑供输入参数 shuffle_urls 在内存中洗数据;

PyTorch 的 S3 Plugin 挑供了一栽从 S3 并走传输数据的手段,以及对来自归档文件的数据流的声援。亚马逊外示,原由该插件是 PyTorch 内部接口的实现,它不必要修改现有的代码就能够与 S3 互助操纵。

适用于 PyTorch 的 S3 Plugin 升迁了 PyTorch 的易用性和变通性,感有趣的开发者能够始末预配置的 PyTorch Docker 镜像操纵,或直接从 GitHub 仓库操纵。

本文转自OSCHINA

本文标题:亚马逊推出高性能 PyTorch 数据集库 —— S3 Plugin

本文地址:https://www.oschina.net/news/159532/amazon-releases-s3-plugin-for-pytorch下载澳门银座

Powered by 下载澳门银座 @2013-2021 RSS地图 HTML地图