您现在的位置: 首页>> 动态 >> 正文

最大CLIP!LAION发布CLIP的扩增定律-世界快看点

来源:


(相关资料图)

点蓝色字关注“机器学习算法工程师”

设为星标,干货直达!

近日,LAION等机构在Reproducible scaling laws for contrastive language-image learning发布了CLIP的扩增定律(scaling law),其中最大的CLIP为ViT-H/14,基于LAION-2B数据集训练,可以在ImageNet1K数据集上到78.0%的zero-shot准确度,性能超过OpenAI目前开源的CLIP L/14,和Meta AI的FLIP Huge模型性能相当,但是模型已经开源在https://github.com/LAION-AI/scaling-laws-openclip。

论文的实验采用开源数据集LAION-400M和LAION-2B数据集,训练框架采用开源的OpenCLIP,所以论文的实验是可以复现的。训练在1520 NVIDIA A100 GPUs上进行,采用PyTorch DDP分布式训练策略,采用混合精度(但是fp16会不稳定,所以采用bf16,或者基于TF32的float32),训练的batch size在 86-88K之间。实验的总体结论是:扩增定律也明显适用CLIP,当扩增模型,训练数据和算力时,模型在下游任务上有一致性的提升。但是不同的训练数据集表现出不同的扩增系数:OpenCLIP的模型(基于LAION-2B数据集)在图文检索任务上有较大的扩增系数,而OpenAI CLIP模型(基于私有的WebImageText 400M数据集)在zero-shot分类任务上有较强的扩增系数。这个结论和FLIP的结论比较吻合,这说明训练数据集对CLIP的性能确实有比较大的影响。用论文结论的一句话来说就是:Scaling behavior depends on task type and pre-training dataset。更多内容可见论文:https://arxiv.org/abs/2212.07143
相关新闻
蒸苹果切开蒸还是整个蒸?

蒸苹果的时候还可以切开蒸,也可以整个蒸也可以把苹果做成苹果盅,可以把它洗净以后消掉果皮,然后从一端切开挖掉里面的果核,再把准备好的冰

滴水贷逾期19年多久上征信

网贷逾期一般会上征信,有些借贷机构在用户逾期后一天后就会上报给征信机构,而有些借贷机构则是会在几天后上报给征信机构,因为有些借贷机构可

【热闻】vivo S,又见爆款

如果盘点2022年的中国智能手机市场,最适合的关键词非“内卷”莫属:增长下滑、用户换机周期延长、产品同质化严重……在这样的大背景下,vivoS

当前热文:留给威马的时间不多了

“让威马从神坛上跌落的不是外人:脾气最火爆的侯海靖妄图只手遮天;最懂销售的陆斌背锅离开;CEO沈晖酿出一系列骚操作。每走错一步棋,都将威

资讯:新一天的忙碌才刚刚开始

【春运进行时】“列车接近,虎石台站Ⅴ道停车。”1月6日子夜,天边的圆月洒下清辉,城市在乌黑的夜色中沉睡。对于中国铁路沈阳局集团公司沈阳

下午4点灸了屁股晚上还能灸肚子吗?

下午4点灸了屁股晚上是能针灸的,因为针灸主要是考验技术和穴位的定位准确。对于不同部位间隔灸的时间并没有那么高的要求,但需要注意的是肚子