王者荣耀点券修改器下载地址: https://bj.bcebos.com/wzryxgq.apk
各位游戏大佬大家好,今天小编为大家分享关于gg修改器免root版6_gg修改器免root版框架下载的内容,轻松修改游戏数据,赶快来一起来看看吧。
“不,你不想。”
每次被BigGAN史上最强”的效果吸引,想要用其他数据集训练一番,脑海深处都会响起这样一个声音。
就仿佛DeepMind团队训练BigGAN用的512个TPU,齐刷刷发出不怀好意的嘲笑。
现在,
好消息来了!
BigGAN一作Andrew Brock新鲜放出了只需4-8个GPU即可训练的新版模型,这一次,他用的是PyTorch。
虽然“只需”令人嫉妒,但比起原来动辄128个、512个TPU的硬件需求,简直就扶贫济困,平民之光。
网友们一夜之间把Brock这条Twitter转了100多次,在Reddit论坛上也夸这个新实现”fantastic”、”awesome”、”cool”,表示一定要玩。
更让人期待的是,打破了128个TPU的门槛之后,用其他数据集训练的BigGAN一定会层出不穷啊!风景、waifu指日可待。
另外,吸引网友们的不仅仅是算力需求的降低,还有:
等你的PyTorch版实现等了好久了!
摆脱算力束缚
Brock开源的低成本版PyTorch实现,内容包括训练、测试、采样所需的脚本、把THHub原版BigGAN生成器权重迁移到PyTorch的脚本,还有完整的预训练检查点。
除了现有的ImageNet预训练模型之外,他还打算放出Places-365数据集上预训练的模型。
如果你想用自己的数据来训练BigGAN,可以选择从头开始训练,也可以在ImageNet预训练模型的基础上微调。无论如何,只需4-8个GPU。
Brock还在Reddit论坛上说,其实一个GPU也行,但就是要花的时间太长了。
原版是128-512个TPU,新版是4-8个GPU,这之间有巨大的算力差距,Brock到底是怎样用Pytorch完整复现BigGAN的?
大思路就是:靠梯度累加,在小硬件上使用大批量(batch)。Brock已经将整个复现过程详细记录了下来。
我们先来看看这个低成本版BigGAN怎么用。
开始之前,需要准备三样训练工具:
首先,你可以选择为你的目标数据集准备一个预处理HDF5版本,以实现更快的I/O,这需要通过修改和运行计算FID需要的Inception moment。运行这行代码就可以:
sh scripts/utils/prepare_data.sh
默认情况下,它会假设你的ImageNet训练集下载到根目录的data位置下,并将以128×128像素的分辨率准备缓存的HDF5。
在脚本文件夹中,有多个bash脚本可以用来训练不同批大小的BigGAN。这些代码默认你无法访问完整的TPU pod,因此,会运用梯度累加技术来假冒大批量。
具体来说,先在多个小批量上将梯度平均,然后在N次累计后,再执行优化程序步骤。
在默认情况下,launch_BigGAN_bs256x8.sh脚本训练一个全尺寸96通道的BigGAN模型,用批大小为256的8个梯度累加,得到总体大小为2048的批量。
用的硬件少了,难免要多花点时间。按上面的默认情况,在128×128像素的ImageNet上训练BigGAN,用8个Tesla V100进行全精度的无张量训练,大约需要15天完成150000次迭代。
正确的流程是,你首先需要做的就是设置可以支持的最大的批大小,确定后再修改脚本,使批大小×梯度累加的数量=所需的批大小总量(BigGAN默认为2048)。
需要注意,梯度累加意味着需要将预估的奇异值(singular value,SV)和批归一化(Batch Normalization,BN)统计量提高8倍。
这意味着,BN的统计值更接近于静止状态,相较之下奇异值的估计值往往更加准确。
因此,Brock在默认情况下用测试模式下的G来衡量标准,即用BN的运行状态预估值来替代去计算静态统计值。不过,最终repo也支持静态统计,虽然可能会导致前期的梯度累加失效,但问题也不大。
标准和示例
在训练期间,这个脚本会输出具有训练标准和测试标准的日志,并且将保存模型权重/优化的程序参数的多个副本,并且每次保存权重时,都将生成示例和插值。
日志文件夹中存储了处理这些日志的脚本,并将结果用Matlab绘制出来。
训练过程完成后,你可以用sample.py代码块生成其他示例和插值,还能改变截断值、批大小、静态统计累计值等进行测试。
默认情况下,所有内容都保存到权重/示例/日志/数据文件夹中,repo被假定到与它们在同一个文件夹里了。你可以用—base_root代码块将这些参数指向不同的基础文件夹,或者用各自的参数选择每个基础文件夹的特定位置。
在Brock小哥给出的实现中,包含了BigGAN-deep的运行脚本,但没有用它完全训练成一个模型,是未经测试的一个脚本。
此外,Brock还给出了包括在CIFAR上运行的脚本,以及在ImageNet上运行SA-GAN和SN-GAN的脚本。SA-GAN是假设用4个TitanX训练时的脚本,是在批大小为128时加2个梯度累加的情况下进行的。
用自己的数据微调预训练模型
我们前边也提到过,除了从头开始训练,还可以拿Brock预训练的模型来微调。
要运行的脚本和从头训练一样,但是要加上—resume。
继续进行中断了的训练也是用这个脚本。
要准备微调用的数据集,需要添加到datasets.py中,并在utils.py里调整convenience dicts,例如dset_dict、imsize_dict、root_dict、nclass_dict、classes_per_sheet_dict等等设置,这样才能为数据集创建合适的元数据。
然后,重复prepar_data.sh的流程。
我有一块1080Ti,行吗?
低成本版一出,引来不少网友欢呼,很多一看就来自学神们。
他们很是关注Brock所用的方法,比如同步的批归一化(synchronized batchnorm)、梯度累加(gradient accumulation)技术等等,还打算用到自己的研究里。
当然,更多人关心的是:
用这个“官方非官方”PyTorch版实现训练,成本究竟怎么样?
按照Brock举的例子计算,8块Tesla V100训练15天,在亚马逊云服务AWS上的价格是8800多美元。
也就是说,如果你自己本地没有那么多GPU,还是挺贵……
于是,评论区除了欢呼的大神们之外,也冒出了很多贫穷的声音:
哇哦好赞啊!但是你说得好像4-8块GPU多便宜似的哈哈哈哈。
然而我只有一块1080ti……
在Colab里哭。(量子位注:就是蹭免费GPU的Colab啦)
也有人真诚提问:
我有一块2080ti,你估计半个星期能训练到收敛吗?还是需要几周?
Brock给出的答案不容乐观:一块2080ti啊,那得好几个月了。
也就是说,如果预算不充沛,还是拿预训练模型微调的好。
不过,评论区也有高人,为新实现找了个绝佳的使用场景:
那些之前买显卡挖矿的人,终于有比较酷的事情可干了。
这一提议顿时有人响应:
哈……我有12块英伟达1080,就是因为这个。
如果你也有挖矿遗留下来的GPU,那就一切好办了。
转投PyTorch体验怎么样?
除了省算力,“终于有了完整PyTorch版实现”也是网友们非常关心的。
毕竟,Brock作为一名(曾经的)DeepMind实习生,改用PyTorch实属难得。这一版本“官方非官方”实现是他和Alex Andonian一起完成的,而并没有提到BigGAN另外两位作者。
△ BigGAN一作Andrew Brock
他使用PyTorch体验怎样?如何看待在PyTorch和TensorFlow中实现BigGAN的差异?
在Reddit上,也有网友向Brock好奇地提出了这个问题。
Brock坦言,用PyTorch训练BigGAN,是种非常可爱的体验。
他认为PyTorch让很多事情都变得容易多了,比如组成层、测试、调试、实现模型并行性等操作,一切都可以信手拈来。
整个实现的过程中,当然也遇到了一些没想到的困难,不过Brock说都是他自己的错。比如直到开始检查梯度时,才发现错位的ReLU已经造成了大面积破坏。
此外,他遇到的最大挑战其实是算力不足:因为Brock只有多所大学的共享服务器可用,因此调试/测试周期也拉长了不少。每次训练只能运行24小时,等待下一次开始的时间,则不止24小时了。
传送门
最后,附上GitHub地址:
https:///ajbrock/BigGAN-PyTorch
还有论文:
Large Scale GAN Training for High Fidelity Natural Image Synthesis
https://arxiv.org/abs/1809.11096
以上就是关于gg修改器免root版6_gg修改器免root版框架下载的全部内容,游戏大佬们学会了吗?
gg修改器root版教学,下载gg修改器root版以解锁更多游戏乐趣 分类:修改器 10,341人在玩 GG修改器是一款在手机端使用的功能强大的修改工具,可以让你在游戏过程中修改游戏参数,获得额外的游戏乐趣。而GG修改器root版则是针对已经root过的手机用户所推出的版本,在保证修……
下载GG修改器免root版安装_gg修改器免root中文版下载安装,绿色 分类:修改器 12,649人在玩 各位游戏大佬大家好,今天小编为大家分享关于GG修改器免root版安装_gg修改器免root中文版下载安装,绿色的内容,轻松修改游戏数据,赶快来一起来看看吧。 Cobbler是快速网络安装linu……
下载手机gg修改器要root吗,手机GG修改器下载:无需ROOT! 分类:修改器 9,548人在玩 众所周知,GG修改器是一款非常强大的游戏辅助工具,可以让你轻松地修改游戏内的各种参数。不过,很多人在使用GG修改器时都会遇到一个问题:需要ROOT权限。而对于普通用户来说,ROOT……
下载gg修改器无root好吗_gg修改器没有root能用吗 分类:修改器 15,204人在玩 各位游戏大佬大家好,今天小编为大家分享关于gg修改器无root好吗_gg修改器没有root能用吗的内容,轻松修改游戏数据,赶快来一起来看看吧。 Webd 是一款极度轻量化的自建网盘工具,……
下载怎样不root用GG修改器,软件下载:怎样不root用GG修改器 分类:修改器 12,149人在玩 GG修改器是一款功能强大的游戏辅助工具,可以帮助玩家轻松修改游戏内的各种数值,从而获得更好的游戏体验。但是使用GG修改器通常需要root权限,这对于很多非技术人员来说是一个不小……
下载王者荣耀铭文修改器 王者荣耀符文修改器下载 分类:修改器 15,541人在玩 王者荣耀铭文修改器是一个免费获取铭文符文呢的辅助修改工具,王者荣耀已经陪伴无数玩家度过了一年又一年,眼下已经又是新的一年到来,对于喜爱王者荣耀的玩家来说游戏中虚拟货币……
下载gg修改器root版本下载,下载gg修改器root版本,让你的游戏体验更加畅快 分类:修改器 9,372人在玩 如果你是一个游戏发烧友,那么一定会对各种游戏修改器感到兴趣。而在众多修改器中,gg修改器root版本无疑是备受广大玩家喜爱的工具之一。 什么是gg修改器root版本? gg修改器root……
下载gg修改器免root电脑版,软件推荐:GG修改器免root电脑版 分类:修改器 9,982人在玩 作为一名游戏玩家,在游戏中遇到困难或者想要更好地体验游戏,我们可能需要使用各种修改器。其中,GG修改器是一个非常优秀的修改器,可以帮助我们快速实现各种游戏操作。而现在,GG……
下载gg修改器免root版滑稽,下载gg修改器免root版滑稽软件 分类:修改器 12,099人在玩 在玩游戏的时候,很多人都遇到过一些困难和挑战。这时候,我们就需要一些工具来帮助我们轻松地解决问题。其中,gg修改器是一款非常实用的工具,它可以让你在游戏中轻松获得一些特殊……
下载gg修改器如何关闭root_gg修改器会自动关闭 分类:修改器 14,882人在玩 各位游戏大佬大家好,今天小编为大家分享关于gg修改器如何关闭root_gg修改器会自动关闭的内容,轻松修改游戏数据,赶快来一起来看看吧。 概述 Linux有很多标准化的内容,这里总结了……
下载