【数码艺术学院】完成虚拟现实+AI视觉风格迁移训练营
发布者:张雨露
发布时间:2024-01-19
浏览次数:326
一、 虚拟现实+AI视觉风格迁移训练营介绍
训练营内容:完成基于Stable Diffusion的图片绘画风格迁移
指导教师:王晖、翁金磊
训练营周期:2周
1、训练营目标:
在科技的前沿,虚拟现实(VR)和AI的结合为艺术领域带来了新的可能性。本训练营希望能通过虚拟现实专业学到的基本知识,未来将AI绘画风格迁移技术与虚拟现实体验相结合,探索新的艺术展现方式。训练营的目标是培养一批具备虚拟现实+AI视觉风格迁移能力的专业人才,能够熟练掌握并应用Stable Diffusion技术进行图片绘画风格迁移。
2、训练营的内容:
基础理论知识:包括Stable Diffusion算法原理、深度学习框架、神经网络模型等。
实践操作技能:包括数据预处理、模型训练、模型评估、结果优化等技能。
案例分析:通过分析经典案例,深入理解不同风格迁移的技巧和方法。
实际操作训练:学员需要完成一系列风格迁移的实践操作,包括不同风格图片的选择、数据集的准备、模型的训练和优化等。
3、整体设计:
学员组成:本次训练营参与的学员为南京信息职业技术学院2022级虚拟现实专业的同学。
时间安排:训练营分为理论学习和实践操作两个阶段,每个阶段包含若干个课程,每个课程的时间安排为一周。
课程安排:理论课程和实践课程相结合,理论课程主要讲解Stable Diffusion技术的基本原理和相关算法,实践课程则注重实际操作和技能培养。
考核方式:学员需要完成实践操作中的一系列任务,并提交作品,根据作品质量和完成情况进行评价。
二、 课程开展情况
1、课程安排
训练营时间表 | |
时间 | 安排 |
2023.12.20 | 提出训练AI绘画模型计划 |
讨论与确定模型训练项目 | |
探讨模型训练的可行性 | |
2023.12.21-2024.1.2 | 讨论模型预想效果 |
讨论素材样式 | |
收集、筛选素材 | |
深度训练卷积型神经网络模型 | |
2024.1.3 | 分阶段学习模型训练流程 |
寻找并训练特色化独立AI绘画模型 | |
2024.1.4 | 按照步骤训练机器学习模型 |
模型制作效果微调 | |
2024.1.5 | 产出预想效果图 |
2、课程作业要求
以南京信息职业技术学院的校园景色为主,利用Stable Diffusion进行绘画风格迁移。
3、课程总结和改进思考
大部分同学反馈,我们的训练内容覆盖了Stable Diffusion风格的绘画迁移,涵盖了模型原理、数据预处理、模型训练、评估等各个环节,讲解清晰易懂。尤其在模型的训练部分,很多同学表示收获颇丰,对Stable Diffusion风格的绘画迁移有了更深的理解。有部分同学提到了模型的训练过程存在一些问题,例如训练数据集的收集和处理,模型的稳定性等。我们也注意到了这些问题,正在积极寻找解决方案。同时,也有同学建议我们增加一些实践操作环节,以便更好地理解和应用所学知识。团队协作和交流是这次训练营的一大亮点。同学们在讨论和交流中,不仅加深了对知识的理解,也提高了解决问题的能力。我们鼓励更多的团队协作和交流,期待在未来的训练营中看到更多的互动和分享。
三、 实训成果展示
由此次训练营的负责同学主持最终的成果汇报,由各组同学按顺序汇报自己小组的成果。
首先是第一组庄子衡同学介绍自己训练的印象派油画风格的Lora模型以及用这个模型生成的作品。他们组选取了校园的树林以及教学楼作为素材,介绍了将这种油画风格迁移到了学校景色上,效果不错。第一组同学经过两周的学习与实践,最终总结出了训练这种风格的模型的重点,那就是需要注重图片的“厚度”。只有让ai大量学习油画那种独有的厚涂感以及光影的层次感,才能让最后的成果带有一丝那些历史上的名师大家们用笔刷与颜料给世界留下的直击人心的美感。
接下来是第二组尚子琪同学开始对自己小组的成果进行汇报。他们小组训练的是水墨山水风格的Lora模型,并且选取了我们南信院学生都非常熟悉的三栋教学楼作为素材进行风格迁移。这是一次很大胆的尝试,曾经的金陵靡丽繁华,如今的南京依旧是省会之城,将古代的建筑风格与现代的高大建筑相融合,把自古以典雅脱俗与淡逸劲爽著称的水墨山水风格用来描绘我们日常中三点一线上能看到的景象,也许对于现在的我们来说,前往课堂的路让人感到些许乏味,但在课堂上学到的知识必然会在今后走上社会之际,为我们的人生注入新的活力。
第三组同学马健翔同学则选择了相对比较特别的手绘漫画风格,而且素材的数量也非常多,不仅由校内的不同景色不同场合,甚至还有栖霞山风铃的图片。这组作品配合非常的巧妙,将我们平时生活中看似不起眼的一角通过小清新的手绘漫画风格与富有生活气息并且构图生动活泼的景色相互配合,带给了我们完全不一样的感受,自然而然得让人想起一句名言——我们所度过的每一个平凡的日常,也许就是连续不断发生的奇迹。
第四组戴哲珲同学同样是选择的油画,不过选择的是幻想风格的类型,搭配上远景教学楼,树林,湖泊等素材。炫彩夺目的紫红天空,波光粼粼的静谧湖泊,晨雾弥漫的幽深树林,正如一千位读者眼里就有一千个哈姆雷特那般,这每一幅作品都让人不禁联想其背后的故事,让读者去脑补一部由自己创作出来的史诗。而且他还充分利用了局部重绘功能,做出了画中画效果,效果非常不错。最后是第五组曹嘉敏同学,她选择了写实派油画风格,选择了学校里雪天红墙前的枯树为素材。
这一组作品选择用写实的风格来留下前段时间南京的那场大雪,通过油画的笔触,用纯白来点缀我们的校园,一组作品四幅图片,正好两张春天绿景与两张冬日雪景形成鲜明对比,将熟悉的校园用两种完全不同的外貌展现在我们面前,虽没有华丽的装饰性,但谁说这种客观真实,最质朴最直观的画面就没有韵味了呢。
在各组同学汇报过程中,翁金磊老师与王晖老师也作为指导老师全程参与,并且对每位同学的作品提出了特别的指导意见,帮助同学认识到目前作品仍然需要改进的地方,以及今后应该向哪方面继续努力,弥补现在的不足。
最后,在所有的汇报以及评价结束后,这次训练营全体成员还进行了投票评比。五组同学分别在自己的作品里选出了一张最好的一张作为代表作,大家一起选出了这次训练营的第一名!
图/文 数码艺术学院 翁金磊 庄子衡
审核 数码艺术学院 徐俊