原本是一次命题作文错过交付时间，但在看完老版《哪吒闹海》电影后，一种强烈的情感憋在心头：父亲李靖和哪吒之间难道只有控制和对抗吗？
哪吒舍身赴死，保全了陈塘村。都赞他英勇大义，但我却道他小儿莽撞，心性被什么锁住了似的。
错的根本不是哪吒，是龙王对人命的轻贱，是父亲的畏惧和守旧，是整个陈塘村的自私和懦弱！
于是那晚，我写下一个全新的后续故事：让李靖踏上拯救哪吒之路，重回哪吒身死当晚，完成一次和哪吒沟通，做一件未做之事。剧本算是一气呵成，无AI，纯人手K。
但视觉画面和音乐我采用纯生成＋人工修补的方式。要完成这样一个情感激烈且还有些许动作打戏的故事，在六月份的时候，我心里还是忐忑的。毕竟那时还是生成式AI的1.0时代，我只能大量采用即梦的首尾帧去牵引人物和镜头的动态。这，也就意味着…大量的图片处理和修改。
好死不死，当我们完成所有镜头动态，没想到可灵基于DIT架构的生成式AI来了。超自然的动态在六月内测七月全量开放期间，一度引领全球。于是，分镜不得不全部重做。。
分工：编剧＋镜头制作＋后期合成（我），音乐制作（隋大神），镜头修复（吕柏青）
-
分镜制作：midjourney+PS+stable diffusion
-
-
口型：liveportrait工作流，Hedra,runway，即梦
-
这部片子是六月做的，在六月七月那段技术集中井喷的时间，我们每天就是在重做重改的路上。时隔四月，技术又有了很大的提升，我相信再次重做，部分效果会更好。不过，这部六七月完成的片子，在以下方面，如今我认为在以下几方面依然有值得借鉴的地方。
可灵当时在语义理解方面真的很强大，尤其是高品质模式下，效果杠杠滴。可以做到比较精细的表情控制。
比如这一段，哪吒即将赴死，你几乎能看到他眼里哀伤的泪花。
再比如这一段，实在太爱了！面对陈塘村村民的指责，哪吒内心由对龙王的愤怒变成无耐，然后由无耐转变为绝望。这种表情的细腻变化，连专业演员也很难如此表演出来。生成思路就是利用五秒延长，不断改变提示词，来调整人物表情的变化。
如果你的要求很细精，可以尝试具体和细化你的提示词，而非单纯用一个“绝望表情”，毕竟绝望表情有太多的表现，只有具体化你的提示词，比如闭眼低头，身体颤抖等等，才能让人物表现出绝望的内心情绪的变化。
目前对口型随着runway的口型表情迁移上线，已经有了极大的提升。但我们团队在四个月前就已经搭建了类似的工作流——liveprait comfyUI工作流。
所以比较考验….表演者的表演功力….可能以后…不需要颜值的我们也可以过一回演员的瘾。
虽然这套工作流目前可以被runway取代，但…贵在免费….且可控。无数次日夜的钻研，都比不过AI技术哥哥姐姐们的碾压，换来的就是认知的提升和免费使用。
AI做剧情片最大的挑战在于人物的动作，表情精准可控，前面已经说完了表情，现在讲讲动作。恐怕是最为费劲的部分了。真的，没有大家想象中的一键生成自然打架。
在可灵发布运动笔刷,luma发布相机控制和新模型之前，我能控制动作的最佳方式就是首尾帧。这也意味着我要先做好图片处理。
其实是我一帧帧修改的，人物形象，背景特点，还有那杆没有变形的枪，都是人工改的。
在当时最大的难点还是哪吒的自杀，因为自杀一词各大模型均TM不支持。为了做出哪吒自杀的效果，我TM换了N种方法，踩了很多坑，也积了不少…经验。
-
转绘法：用已经有的影视剧中单人自杀镜头，通过迁移哪吒相似镜头的风格，完成自杀动作。
-
PS首尾帧法：虽然无论是MJ还是视频生成模型都无法直接提示自杀，但我把剑放在肩上总是可以吧，我拿原电影自杀片段最后一帧做风格化，然后用首帧引导总可以吗？通过这种方式，我的确生成了哪吒自杀的动作。但，有点变形。。。
抽卡量也是巨大。（现在可灵运动笔刷可以降低抽卡率了）
-
影子扭动蒙太奇组合法：既然人物自杀动作有难度，那么我用影子替代自杀动作总行吧？事实上还真可以。首先，影子是看不清人物动作细节的，只要人物轮廓和基本动作保持相近即可，通过首尾帧更加容易做出自杀动作。
还得是传统专业能力加持！干嘛死磕技术，去做AI完成不成的动作。一个礼拜的时间，我用传统动画做它不香吗？
AI不够，专业来凑。AI只是我们创作的好的工具伙伴。
需要补充的是，现在可灵出了AI2.0时代的运动笔刷，在动作控制方面已经得到极大提升，不仅可以对主体运动方向进行精确控制，还可以对人物的动作一定程度上控制，结合提示词，可以有更复杂的玩法。比如下面
女子低头然后望向窗外的动作路径完全依照我指定的路线和方向。类似自杀和复杂动作，实现能力大大提升！
大家会看到我的哪吒在整部片子中前后一致保持并不是特别好，一部分原因是我在使用MJ Cref的时候，为了达到表情，动作和场景要求，多次采用了二次cref垫图的方式，导致变形严重。cref人物一致性最佳效果就是利用原始首张角色图进行垫图生成不同场景。但首张角色图由于景别，角度和角色表情动作是固定的，cref会对生成的图片景别，角度和角色表情动作产生深刻影响，如果首次生成多视角和表情变化角色有限，就无法满足复杂的剧情要求。
我当时的办法是采用二次生成的角色进行人物一致性的参考，导致变形。时至今日，目前较好的办法是生成人物主体3D模型，利用3D模型获取多样的人物景别和角度，然后垫图只需要调控人物表情一个维度即可。这样就大大降低了控图的难度。
更多AI实操和玩法，我都放在我们年度课程包里了。说实话，AI生成技术使用并不难，你在微信 B站搜索能找到一大堆免费教程。我们这套课的价值在于：
１，从底层原理理解AI生成技术，基于底层原理，设计了一套控制生成的方法；可以一通百通，相当长的一段的时间内不会过时；
２，建立了一套系统化的AI工作方法，成体系的去学习，会比零散解决单个问题更能应对千变万化的工作需求；
４，当然最最重要的一点是，购买后一年内我们会不断更新，不限于课表上的课程，我和我的同事也会花时间解答你的问题。
５，课程既会有AI实操版块，也会有影视／音乐专业内容的分享。不难，小白可以很快学会，专业影视从业者可以成为一超多能的超级个体。
【我是谁】
绛烨，enfp/infp，AI科技自媒体博主，公众号“AIGC新知”主理人。
主业在一家教育公司做AI产品运营兼agent开发。
【我能提供】
（1）公众号文章合作，可友情or付费or资源置换
（2）社群相关资源
（3）AI头部KOL资源
（4）教育/agent开发等方面讨论交流
【我需要】
（1）AI教育相关认知/资源
（2）AI agent开发定制，课程培训合作等。
（3）商务合作可直接联系，期待多多交流，共同进步
加我探讨交流。
知识星球沉淀了很多AI的掘金素材集，欢迎加入！
如果觉得不错，欢迎点赞、在看、转发，您的转发和支持是我不懈创作的动力~
如果想第一时间收到推送，可以给我个星标?～
谢谢你挤出时间看我的文章推送，一眼万年，不胜感激。
文章内容来自于网络，由百合树AI整理，如有侵权，联系删除。如需开始AI写作请返回主页。
