2、在安卓设备上打开“Google云端硬盘”应用。它允许用户将文件轻松上传到Google的云端存储空间。
Google Colaboratory是谷歌开放的一款研究工具,主要用于机器学习的开发和研究。Google Colab最大的好处是给广大的AI开发者提供了免费的GPU使用,GPU型号是Tesla K80。你可以在上面轻松地跑例如:Keras、Tensorflow、Pytorch等框架。
google.colab依赖于平台google drive。
Google Drive是谷歌公司推出的一项在线云存储服务,通过这项服务,用户可以获得15GB的免费存储空间。同时,如果用户有更大的需求,则可以通过付费的方式获得更大的存储空间。用户可以通过统一的谷歌账户进行登录。Google Drive服务会有本地客户端版本、也有网络界面版本,后者与Google Docs界面相似。会针对Google Apps客户推出,配上特殊域名。另外,Google还会向第三方提供API接口,允许人们从其它程序上存内容到Google Drive。
搜索网址 https://drive.google.com/drive/my-drive ,可能需要一些插件才可以登录。
很多时候需要GPU大概是一些比较大的工程文件,可以一并上传到My drive之中,之后打开主函数 .ipynb 文件。
点击运行之后会出来链接,相当于一个验证码。点击之后需要登录自己的谷歌账户。
最终成功之后的效果大概就是这样
容错机制1.Master容错
具体来说,Master上保存了GFS文件系统的三种元数据。
(1)命名空间(Name Space),也就是整个文件系统的目录结构。
(2)Chunk与文件名的映射表。
(3)Chunk副本的位置信息,每一个Chunk默认有三个副本。
首先就单个Master来说,对于前两种元数据,GFS通过操作日志来提供容错功能。第三种元数据信息则直接保存在各个Chunk Server上,当Master启动或Chunk Server向Master注册时自动生成。因此当Master发生故障时,在磁盘数据保存完好的情况下,可以迅速恢复以上元数据。为了防止Master彻底死机的情况,GFS还提供了Master远程的实时备份,这样在当前的GFS Master出现故障无法工作的时候,另外一台GFS Master可以迅速接替其工作。
2.Chunk Server容错
GFS采用副本的方式实现Chunk Server的容错。每一个Chunk有多个存储副本(默认为三个),分布存储在不同的Chunk Server上。副本的分布策略需要考虑多种因素,如网络的拓扑、机架的分布、磁盘的利用率等。对于每一个Chunk,必须将所有的副本全部写入成功,才视为成功写入。在其后的过程中,如果相关的副本出现丢失或不可恢复等状况,Master会自动将该副本复制到其他Chunk Server,从而确保副本保持一定的个数。尽管一份数据需要存储三份,好像磁盘空间的利用率不高,但综合比较多种因素,加之磁盘的成本不断下降,采用副本无疑是最简单、最可靠、最有效,而且实现的难度也最小的一种方法。
GFS中的每一个文件被划分成多个Chunk,Chunk的默认大小是64MB,这是因为Google应用中处理的文件都比较大,以64MB为单位进行划分,是一个较为合理的选择。Chunk Server存储的是Chunk的副本,副本以文件的形式进行存储。每一个Chunk以Block为单位进行划分,大小为64KB,每一个Block对应一个32bit的校验和。当读取一个Chunk副本时,Chunk Server会将读取的数据和校验和进行比较,如果不匹配,就会返回错误,从而使Client选择其他Chunk Server上的副本。
TechTarget中国原创内容,原文链接:http://www.searchcloudcomputing.com.cn/showcontent_38975.htm
欢迎分享,转载请注明来源:夏雨云
评论列表(0条)