当前位置: 首页 > news >正文

激光东莞网站建设问卷调查网站

激光东莞网站建设,问卷调查网站,淘宝运营培训学校,浙江建设厅继续教育网站背景:好容易完成朋友的任务,帮忙给小朋友绘画比赛生成一些创意参考图片。他给我个挑战更高的问题,是否可以帮他用AI生成一些视频。这个乍一听以现在AI技术根本不太可能完成。奈何他各种坚持,无奈被迫营业。苦脸接受了这个不可能完…

背景:

好容易完成朋友的任务,帮忙给小朋友绘画比赛生成一些创意参考图片。他给我个挑战更高的问题,是否可以帮他用AI生成一些视频。这个乍一听以现在AI技术根本不太可能完成。奈何他各种坚持,无奈被迫营业。苦脸接受了这个不可能完成的任务。

要求:

1.视频人物相对稳定

2.视频祯之间不能跳跃太大(背景和画风不能跳变)

3.视频有一定连贯性(可以允许角色跳转不太连贯)

技术方案

思路:找一个视频,解析成图片,然后根据用户动作作为控制批量生成图,把生成的图合成视频输出

1.视频人物相对稳定,这部分我是用dreambooth锁定人物

2.视频不能太跳,这部分我尝试用image2image+control控制锁定

3.视频有一定连贯性,这部分我用video2video方式一定程度锁定角色动作

参考动作获取

视频转图片

#mp4转图片
import cv2
import osdef video2imgs(videoPath, imgPath):if not os.path.exists(imgPath):os.makedirs(imgPath)             # 目标文件夹不存在,则创建cap = cv2.VideoCapture(videoPath)    # 获取视频judge = cap.isOpened()                 # 判断是否能打开成功print(judge)fps = cap.get(cv2.CAP_PROP_FPS)      # 帧率,视频每秒展示多少张图片print('fps:',fps)frames = 1                           # 用于统计所有帧数count = 1                            # 用于统计保存的图片数量while(judge):flag, frame = cap.read()         # 读取每一张图片 flag表示是否读取成功,frame是图片if not flag:print(flag)print("Process finished!")breakelse:if frames % 10 == 0:         # 每隔10帧抽一张imgname = 'jpgs_' + str(count).rjust(3,'0') + ".jpg"newPath = imgPath + imgnameprint(imgname)cv2.imwrite(newPath, frame, [cv2.IMWRITE_JPEG_QUALITY, 100])# cv2.imencode('.jpg', frame)[1].tofile(newPath)count += 1frames += 1cap.release()print("共有 %d 张图片"%(count-1))
video2imgs('./normal video.mp4','./jpgs1/')

视频裁剪,人像放中间,补抓更清晰pose

#图片裁剪,人像更清晰
import cv2
import os
import os.pathf = r'./jpgs'
o = r'./target'
for file in os.listdir(f):f_img = f+"/"+fileo_img = o+"/"+fileimg = cv2.imread(f_img)print(img.shape) # (1080, 1920, 3)cropped = img[30:250, 50:280]  # 裁剪坐标为[y0:y1, x0:x1]cv2.imwrite(o_img, cropped)

图片调整尺寸,把pose放在生成图合适位置,确保生成动作稳定性

#图片尺寸调整
import PIL
import os
import os.path
from PIL import Imagef = r'./target'
o = r'./targets'
for file in os.listdir(f):f_img = f+"/"+fileo_img = o+"/"+fileimg = Image.open(f_img)img = img.resize((1024,640))img.save(o_img)
视频生成

本次实验使用stablediffusion中img2img来批量生产

选择了batch,通过controlnet==》pose、segment方法来控制生成图

结果输出:

把生成的图合成视频

from moviepy.editor import ImageSequenceClipimage_path = "result_video03"
fps = 5clip = ImageSequenceClip(image_path, fps=fps)
clip.write_videofile("output1.mp4", fps=fps)

合成视频效果

相忘于江湖

展望

现在效果还是不够稳定的

后续会尝试解决这个不稳定问题

http://www.zhongyajixie.com/news/17157.html

相关文章:

  • 为什呢网站打开wordpress很慢友の 连接
  • 建立一个网站平台需要多少钱上海排名优化seo
  • 代做论文的网站有哪些好的软文街怎么样
  • 做衣服的网站推荐sem运营是什么意思
  • 国外电子政务j建设与我国电子政务网站建设对比搜索引擎搜索
  • 做电信宽带合适做网站吗seo文章生成器
  • 宣城市住房城乡建设委员会网站网络推广优化服务
  • web网站发布互动营销用在哪些推广上面
  • 又好又快自助建站如何在百度上做产品推广
  • 章丘网站制作深圳网络优化seo
  • 网站建设专业的公司网站seo专员
  • 郴州网站建设公司在哪里新闻稿在线
  • 网站建设哪里好点搜索引擎优化方法案例
  • 网站左侧漂浮代码公司网站域名续费一年多少钱
  • 河南网站建设公司谷歌搜索引擎优化seo
  • 链接测试对于网站的意义宁波seo在线优化
  • 网站模板插件惠州seo报价
  • 免费制作永久网站合作seo公司
  • 益阳建设网站公司淘宝店铺推广方式有哪些
  • 做日本外贸单是哪个网站在线生成网页网站
  • 白糖贸易怎么做网站网络视频营销平台
  • 红色网站主题腾讯企点账户中心
  • 网站上传小马后怎么做深圳信息公司做关键词
  • 建设网站的行业现状分析百度官网网站首页
  • 携程网站模板百度知道客服电话人工服务
  • 网站搭建报价表淘宝seo什么意思
  • 广州外贸营销型网站建设公司肇庆网站搜索排名
  • 软件网站建设基本流程图seo这个职位是干什么的
  • 做机械设备销售的那个网站好制作网页的代码
  • 如何选择丹阳网站建设seo网络营销的技术