转载

几篇图像生成新应用的Paper

生成图像的几篇新文,随机看到的,从应用角度觉得比较新颖,从技术角度,我不Care。。技术NB不NB我不知道。。时间仓促将还请包涵。

1:Pixel-Level Domain Transfer

Paper下载: http://arxiv.org/abs/1603.07442

每天早晨醒来,在衣柜前面,女性朋友们是不是经常为穿什么衣服而感到苦恼,今天该如何把自己打扮的美美哒,于是可能就需要大费周折的展开联想,想象自己穿了某款衣架上的衣服是什么样子的。但是。。然而。。巴特。。通过一件挂在衣架上的衣服,想象自己穿上这件衣服的样子,这是一件多么烧脑的事情啊。而且当你在不停转换视线的时候,你的大脑还要不停的运转,Oh,My God,太特么浪费脑细胞啦。。

几篇图像生成新应用的Paper 几篇图像生成新应用的Paper

在我们的日常生活中,我们所感知的视觉场景或物体,经常需要转换成大脑图像的不同形式。我们本文的重点,就是要解决类似这样的相关问题。将一台机器视觉输入的图像转换为另一种形式,并且可以直观的看到生成的像素级别图像的各种不同形式。

好吧,本文就是以衣服为例子,大致意思是用一个穿衣服的图像生成一系列不同形式的衣服图像,注意了是生成各样的衣服,衣服,衣服。不是用一个穿衣服的图像生成一个不穿衣服的图像。当然从理论上讲,你用个穿衣服的苍井空要生成一个不穿衣服的苍井空,嗯,从理论上讲,嗯,NO PROBLEM。。。

几篇图像生成新应用的Paper 几篇图像生成新应用的Paper

本文的目标是如下图,

几篇图像生成新应用的Paper

这样的用途是什么呢,很明显可以用于搜同款,给出一张明星的照片,可以生成明星的穿着衣服的照片,这样很容易在淘宝中找到类似的图片,同款的衣服。

(技术细节,xxxxx,略18000字)

摘要:

我们提出一个条件图像的图像生成模型。模型在语义层面上,将输入域转换成目标域,并最后产生像素级别的目标图像。为了产生实际的目标图像,我们在GAN网络中采用了真/假鉴别器,但是也引入了一种新的域鉴别器,使所生成的图像与输入图像相关。我们通过一项竞赛任务验证我们的模型,从一个穿衣服的人的图像生成了一件衣服模型。我们提出了一个高品质的含有两个域的数据集,并成功证明了较好的结果。

看结果吧,Source是原始图片,Ours是本文生成的图片,其他RF、MSE是其他算法生成的图片,感觉效果还不错。。。

几篇图像生成新应用的Paper

2:Generative Image Modeling using Style and Structure Adversarial Networks

这是第二项近期生成图像算法的研究,是卡内基·梅隆大学机器人学院的最新研究成果。个人觉得这个思路蛮好的,可以看看图片效果,输入、输出、原始图像的对比,可以用在RGBD图像生成上。Paper(Generative Image Modeling using Style and Structure Adversarial Networks): http://t.cn/Rq7ftZG

摘要。当前生成框架使用终端到终端的学习,从均匀分布的噪声进行采样生成图像。但是,这些方法忽略图像形成基本原理,图像最基本的原理包括(一)结构:最基本的3D模型 (B)风格:纹理到结构的映射。在本文中,我们分解图像生成的过程,提出风格和结构生成对抗网络(Style and Structure Generative Adversarial Network :S2-GAN)。我们的S2-GAN有两个组成部分:Structure-GAN生成表面映射; Style-GAN采用表面映射作为输入,产生2D图像。除了实际图像和生成图像的损失函数,我们使用计算表面的额外损失函数。这两个GANs被独立训练,然后通过共同学习合并在一起。我们的S2-GAN模型是可解释的,产生更逼真的图像,可以被用来学习非监督RGBD表示。

几篇图像生成新应用的Paper

3: Generating Images From Captions wiht Attention

好吧,最近的人工智能大红大紫了,各种应用层出不穷。前几天机器人写的小说入围日本文学奖。这几天加拿大多伦多大学一项研究也挺抢眼的,即利用文本信息生成一个描述该文本信息的图像,算是看字画图吧。ICLR 2016 Paper: http://t.cn/RUpExke  代码: http://t.cn/RqvURv4

摘要:受到近期生成模型最新进展的推动,我们介绍一种从自然语言描述生成图像的模型。该模型迭代在画布上绘制patches,同时顾及到在文本中文字的关系。在微软COCO数据集上训练结束后,与其他几个图像生成和检索任务生成模型相比较,我们的模型产生比其他方法质量更高的样本,可以用数据集中没有的字母来生成新场景的图像。感受下该模型的生成效果吧~~

几篇图像生成新应用的Paper

几篇图像生成新应用的Paper

原文  http://www.cvrobot.net/several-papers-about-image-generation-model/
正文到此结束
Loading...