一种使用AIGC技术辅助绘画的实现方法与流程

本发明属于辅助绘画，具体为一种使用aigc技术辅助绘画的实现方法。背景技术：：：1、生成式人工智能aigc(artificial intelligence generated content)是人工智能1.0时代进入2.0时代的重要标志。gan、clip、transformer、diffusion、预训练模型、多模态技术、生成算法等技术的累积融合，催生了aigc的爆发。算法不断迭代创新、预训练模型引发aigc技术能力质变，多模态推动aigc内容多边形，使得aigc具有更通用和更强的基础能力。从计算智能、感知智能再到认知智能的进阶发展来看，aigc已经为人类社会打开了认知智能的大门。通过单个大规模数据的学习训练，令ai具备了多个不同领域的知识，只需要对模型进行适当的调整修正，就能完成真实场景的任务。2022年可谓是aigc(ai generatedcontent)元年，上半年有文生图大模型dall-e2和stable diffusion，下半年有openai的文本对话大模型chatgpt问世，这让冷却的ai又沸腾起来了，因为aigc能让更多的人真真切切感受到ai的力量。本发明所涉及的文生图模型stable diffusion(简称sd)，stablediffusion不仅是一个完全开源的模型(代码，数据，模型全部开源)，而且是它的参数量只有1b左右，大部分人可以在普通的显卡上进行推理甚至精调模型。stable diffusion的出现和开源对aigc的火热和发展是有巨大推动作用的，因为它让更多的人能快地上手ai作画。sd是一个基于latent的扩散模型，它在unet中引入text condition来实现基于文本生成图像。sd的核心来源于latent diffusion这个工作，常规的扩散模型是基于pixel的生成模型，而latent diffusion是基于latent的生成模型，它先采用一个autoencoder将图像压缩到latent空间，然后用扩散模型来生成图像的latents，最后送入autoencoder的decoder模块就可以得到生成的图像。sd的主要应用，包括文生图，图生图以及图像inpainting。其中文生图是sd的基础功能：根据输入文本生成相应的图像，而图生图和图像inpainting是在文生图的基础上延伸出来的两个功能。2、但是现有的辅助绘画的实现方法不能将真实图片通过ai算法模型生成特定风格的适合绘画的图片，也不能将生成的绘画图片通过投影技术显示到绘画纸张上用于辅助绘画。技术实现思路1、本发明的目的在于：为了解决上述提出的问题，提供一种使用aigc技术辅助绘画的实现方法。2、本发明采用的技术方案如下：一种使用aigc技术辅助绘画的实现方法，所述实现方法包括以下步骤：3、s1:先进行使用aigc技术辅助绘画的硬件准备；4、s2:用户选择想要进行绘画的图片；5、s3:用户在aigc绘画助手app中选择想要生成的绘画风格；6、s4:用户点击“生成”按钮，aigc绘画助手app将图片和风格信息发送至gpu服务器，服务器使用stable diffusion模型生成指定风格的绘画图片，并将生成的图片返回至app显示；7、s5:用户在app中预览生成的绘画图片，并进行调整，例如调整亮度、对比度等，确认满意后，点击“投影”按钮；8、s6:aigc绘画助手app将绘画图片发送至投影仪服务软件；9、s7:用户根据投影的绘画图片进行创作，发挥个人风格，完成绘画后，可以使用手机或相机拍照保存作品；10、s8:用户对投影的绘画图片进行编辑，添加文字、图案，并将完成的作品分享到社交平台，与朋友分享创作成果，之后即可结束整个使用aigc技术辅助绘画的实现流程。11、在一优选的实施方式中，所述步骤s1中，设备选择性能好的手机或平板电脑，以确保app运行流畅。投影仪的选择需要考虑投影距离、亮度和分辨率等因素，以满足不同的绘画需求。软件安装确保aigc绘画助手app和投影仪服务软件安装最新版本，并完成设备配对。12、在一优选的实施方式中，所述步骤s2中，选择分辨率较高的图片，或使用手机相机拍摄清晰的照片。任何类型的图片都可以进行转换，包括风景、人物、动物等，用户可以根据个人喜好选择合适的图片进行绘画。13、在一优选的实施方式中，所述步骤s4中，在wi-fi环境下进行操作，以提高生成速度。用户可以选择将生成的绘画图片下载到手机或平板电脑中，以便进行保存和分享。14、在一优选的实施方式中，所述步骤s6中，根据画纸大小和投影仪性能选择合适的投影距离，确保画面清晰度。调整投影仪角度，避免画面出现变形或阴影。15、在一优选的实施方式中，所述步骤s7中，用户可以根据个人绘画水平选择合适的工具和绘画技巧，例如使用铅笔进行初步勾勒，再使用颜料进行上色。16、在一优选的实施方式中，所述步骤s7中，在临摹的基础上，用户可以发挥个人创造力，添加自己的元素，创作出独特的作品。17、在一优选的实施方式中，所述步骤s8中，在绘画过程中，用户可以根据需要切换不同的绘画风格，探索不同的创作方向。18、在一优选的实施方式中，所述步骤s6中，实现图像风格化的途径主要有以下几种：artist艺术家风格、checkpoint预训练大模型、lora微调模型、textual inversion文本反转模型；19、lora模型是通过截取大模型的某一特定部分生成的小模型，虽然不如大模型的能力完整，但短小精悍。因为训练方向明确，所以在生成特定内容的情况下，效果会更好。lora模型也常用于训练自有风格模型，具有训练速度快，模型大小适中，配置要求低(8g显存)的特点，能用少量图片训练出风格效果。20、在一优选的实施方式中，。21、综上所述，由于采用了上述技术方案，本发明的有益效果是：22、本发明中，将aigc技术与手机应用相结合，手机中的任意图片包括拍摄照片可以通过aigc技术生成选定风格的绘画图片用于临摹绘画，并可以通过微投投影技术应用于特定使用场景；可以实现将手机中的任意图片，包括拍摄照片通过aigc人工智能绘画的技术，生成用户期望特定风格的画作，同时使用绑定的设备近距离微投投影技术将画作投影到绘画纸张上用于辅助绘画。将真实图片通过ai算法模型生成特定风格的适合绘画的图片，第二是将aigc生成的绘画图片通过投影技术显示到绘画纸张上用于辅助绘画。此方法/装置可以广泛应用美术绘画课程辅助教学和学习，或者应用于辅助进行绘画创作，同时使得没有美术绘画基础的普通人能快速的通过临摹的方式完成一幅画作。技术特征：1.一种使用aigc技术辅助绘画的实现方法，其特征在于：所述实现方法包括以下步骤：2.如权利要求1所述的一种使用aigc技术辅助绘画的实现方法，其特征在于：所述步骤s1中，设备选择性能好的手机或平板电脑，以确保app运行流畅；投影仪的选择需要考虑投影距离、亮度和分辨率等因素，以满足不同的绘画需求；软件安装确保aigc绘画助手app和投影仪服务软件安装最新版本，并完成设备配对。3.如权利要求1所述的一种使用aigc技术辅助绘画的实现方法，其特征在于：所述步骤s2中，选择分辨率较高的图片，或使用手机相机拍摄清晰的照片；任何类型的图片都可以进行转换，包括风景、人物、动物等，用户根据个人喜好选择合适的图片进行绘画。4.如权利要求1所述的一种使用aigc技术辅助绘画的实现方法，其特征在于：所述步骤s4中，在wi-fi环境下进行操作，以提高生成速度；用户选择将生成的绘画图片下载到手机或平板电脑中，以便进行保存和分享。5.如权利要求1所述的一种使用aigc技术辅助绘画的实现方法，其特征在于：所述步骤s6中，根据画纸大小和投影仪性能选择合适的投影距离，调整投影仪角度。6.如权利要求1所述的一种使用aigc技术辅助绘画的实现方法，其特征在于：所述步骤s7中，用户可以根据个人绘画水平选择合适的工具和绘画技巧。7.如权利要求1所述的一种使用aigc技术辅助绘画的实现方法，其特征在于：所述步骤s7中，在临摹的基础上，用户可以发挥个人创造力，添加自己的元素。8.如权利要求1所述的一种使用aigc技术辅助绘画的实现方法，其特征在于：所述步骤s8中，在绘画过程中，用户可以根据需要切换不同的绘画风格，探索不同的创作方向。9.如权利要求1所述的一种使用aigc技术辅助绘画的实现方法，其特征在于：所述步骤s6中，实现图像风格化的途径有以下几种：artist艺术家风格、checkpoint预训练大模型、lora微调模型、textual inversion文本反转模型。技术总结本发明公开了一种使用AIGC技术辅助绘画的实现方法。本发明中，将AIGC技术与手机应用相结合，手机中的任意图片通过AIGC技术生成选定风格的绘画图片用于临摹绘画，并可以通过微投投影技术应用于特定使用场景；可以实现将手机中的任意图片，包括拍摄照片通过AIGC人工智能绘画的技术，生成用户期望特定风格的画作，同时使用绑定的设备近距离微投投影技术将画作投影到绘画纸张上用于辅助绘画。将真实图片通过AI算法模型生成特定风格的适合绘画的图片，将AIGC生成的绘画图片通过投影技术显示到绘画纸张上用于辅助绘画。此方法广泛应用美术绘画课程辅助教学和学习，使得没有美术绘画基础的普通人能快速的通过临摹的方式完成一幅画作。技术研发人员：叶永盛受保护的技术使用者：通彩视听科技（上海）有限公司技术研发日：技术公布日：2024/10/17