您当前的位置:首页 > IT编程 > 图像修复
| C语言 | Java | VB | VC | python | Android | TensorFlow | C++ | oracle | 学术与代码 | cnn卷积神经网络 | gnn | 图像修复 | Keras | 数据集 | Neo4j | 自然语言处理 | 深度学习 | 医学CAD | 医学影像 | 超参数 | pointnet | pytorch | 异常检测 | Transformers | 情感分类 | 知识图谱 |

自学教程:AI技术如何让革命先烈露出微笑

51自学网 2021-07-07 09:39:49
  图像修复
这篇教程AI技术如何让革命先烈露出微笑写得很实用,希望能帮到您。

近日,一条消息冲上微博热搜第一名——AI修复让李大钊、陈延年们露出微笑。

视频中,一张张照片浮现,眨眼、微笑,他们静穆的面庞生动起来。通过一系列人工智能技术结合手绘,将老照片里模糊的人脸修复清晰,还为烈士的老照片进行上色。修复的照片中,有行刑前慷慨赴死的陈延年;有面对刽子手恐吓,宁死不屈的向警予,还有共产党主要创始人之一的李大钊。

革命先辈走出史料和观众进行穿越时空的微笑示意,这个过程是怎么实现的?这段影像的创作背后有怎样的故事?除了革命先烈,AI修复技术还可以让我们看到哪些历史?

解密

AI修复采用了什么原理?

胡文谷是一名独立艺术家、游戏制作人。这个项目是由人民日报和他合作进行的,主要采用了GPEN等AI技术。

GPEN的作用是使图像清晰化,将黑白照片或者因颜料物质氧化褪色的照片重新色彩化,其主要使用生成对抗网络技术,主要是包括生成器和判别器两个部分。

大家可以形象化地将这两部分理解为两个玩游戏的小孩,就叫小王和小李:小王有一天对小李展示了一幅很好看的画,并骄傲地说这是他亲笔画的。小李作为小王的形影不离的好朋友,一眼就看穿了小王的谎话:“别逗了,这肯定是你那学画画的姐姐画的,你那三脚猫的水平还不如我呢”。后来证明果然是小王姐姐画的。

而后,小王奋发图强,刻苦临摹姐姐的画作,并且每天都带着两幅新画,一幅他自己画的,一幅姐姐画的,去找小李分辨。

小李一开始每次都很轻松地分辨出来,可是小王并不气馁,坚持每天苦练。直到有一天,小李再也不能分辨小王和姐姐的画作了,小王终于成功了!

在这里,生成器就是“小王”,判别器就是“小李”,生成器每次将修复上色后的图片交给“小李“判别器,说真实的符合实际的彩色图片就是这样子的。

判别器轻蔑一笑“哪有人的眼珠子是绿色的?”便将其判定为不合格。生成器继续苦练上色修复,并继续拿给判别器检验。

被判别器一遍遍地轻易判别,随着生成器的水平逐渐进步,判别器再也分辨不出,哪些图片是真正拍出来的彩色图片,哪些图片又是生成器自己上色后的黑白图片。

到此,生成器就是一个“成熟”的生成器了,可以自己去“闯荡江湖”了。

在这个动态化革命先烈的任务里,“小王”生成器学习的任务包括但不限于上色,使图像清晰化,将图片转化为数十帧的动画。

对话

与先烈“穿越时空的对话”

记者:#AI修复让李大钊陈延年们露出微笑#这个话题一度冲上微博热搜第一,作为创作者,你当时是什么感受?

胡文谷:看到热搜的时候还是非常震撼的,感谢大家的喜欢,我也很高兴能够跟网友们一起分享我做的这段修复。

记者:可以简单介绍一下怎么用AI还原先烈肖像吗?困难的地方在哪里?

胡文谷:因为很多先烈牺牲时都比较年轻,留存的照片也较为模糊,我会先用AI脸部重建的技术把肖像画像来做一些重建,然后根据史料做一些手绘的精修,最后再用AI做一个增强,这里用到专门增强脸部细节的技术,可以让皮肤质感更加真实。

整个过程中对史料的考据是比较难的,由于年代久远,一些人物的资料比较难找。我参考了一些革命先烈其他角度的老照片,以及他们后人的照片,来做一些精修,尽可能地还原他们真实的样子。

记者:这次在影片中对革命先烈的肖像做了一个微笑的设计,你当时是怎么想的?

胡文谷:因为我想要肖像在影片中有动态呈现,在做动态的过程中要考虑怎么把他们的表情做好,这是比较难的。我就想到了微笑,但是又不能特别夸张,要调整到一个合适的角度。

另外,其实观众在看这段影像的时候,会感到这些先烈好像在跟你对视,这个也是特别设计过的。我希望观众在影片中和先烈有“穿越时空的对话”,代入感更强,有更深的感受。

“每次都是重新了解历史的过程”

记者:除了这次的肖像修复外,你之前在社交媒体上发过很多AI修复影片的内容,比如一百年前的北京城、李大钊的演讲、梅兰芳的演出等。把模糊的黑白影像变成很自然的彩色影像,是怎么做到的?

胡文谷:AI影像修复主要有三个部分:补帧、上色和提升分辨率,都是用一系列不同的人工智能来完成的,现在有很多开源项目可以实现这些功能。

记者:做AI修复,历史方面的研究是不是非常重要?

胡文谷:对。每一次修复都是重新了解历史的过程,我会在修复之前去找各种资料,查资料往往比技术修复需要更大的精力。比如梅兰芳的影像修复,大约一周就制作完成,但前期查资料耗时一个月。我要去找各种相关的资料,包括去问戏曲演员,颜色、花纹应该是什么样子的,只有这些工作做得足够扎实,才能尽可能地还原历史。

这个过程中也会了解很多人物背后的故事,对一段历史影像的社会背景和其中涉及到的人物都有更深的认识。而且经常有意外收获,比如梅兰芳的影像中,我们就发现开场的主持人是当时好莱坞的一个华裔女演员,很惊讶。

包括这次革命先烈们影像的修复,我在了解他们的故事时候也感到非常震撼。在当时中国那样一个积贫积弱、百废待兴的状态下,带领中国走到现在是非常不容易的。

“五分钟的彼岸”

记者:你最开始是怎么想到用AI做历史影像的修复呢?

胡文谷:我本来是用AI做游戏开发,后来发现AI也可以运用到艺术创作和社会公益中。我就在B站和微博上做了一些分享,向网友介绍一些AI给影片上色的开源项目的进展。因为当时在国外已经有很多网友在做欧美影片的修复,国内这方面比较空白,我就试着开始做了。

网友的反馈都非常好,他们会给我补充一些我不知道的历史知识。整个过程就像在线探案考古,非常有趣,也很有意义。这是我坚持做下来的一个原因。

记者:做历史影像修复最大的感受是什么?

胡文谷:我自己会把修复定义成“五分钟的彼岸”,希望在纷繁复杂的现代社会当中,我们能花五分钟去看一看这些修复,回顾一下历史。我自己的感受是,在修复之后会觉得他们不再是一个影片当中的历史资料,而是体会到这些人当时就和我生活在同一片蓝天下、同一片土地上,我也希望能把这个感受分享给大家,以古鉴今的感觉。

仰望星空,脚踏实地,我觉得我们既是遥望着星空的彼岸,也要踏踏实实地往前迈进,随着科技的发展,会有越来越多的新技术走进千家万户,我们这样的创作者会继承前辈们的精神,不断上下求索,用自己所能来做对社会有意义的事情。

 

来源:武汉晚报


CVPR 2020 论文大盘点-超分辨率篇
用AI修复让李大钊陈延年露出微笑,看哭了网友
万事OK自学网:51自学网_软件自学网_CAD自学网自学excel、自学PS、自学CAD、自学C语言、自学css3实例,是一个通过网络自主学习工作技能的自学平台,网友喜欢的软件自学网站。