看過這麼多文字生成圖像的工具後,你絕對不能錯過以文字生成短片的超強工具-Runway。
什麼是Runway?
Runway是由Google投資的一家線上影音剪輯製作公司,成立於2018年。該公司專注於提供各種AI影像編輯工具,包括背景移除、動態追踪、自動字幕等自動化工具,主要致力於降低影片創作的門檻,幫助使用者輕鬆製作出內容強大且富有創意的影音內容。
Runway已經推出了第一個AI影片編輯模型Gen-1。最近,他們推出了一個新的文本生成影片( Text-to-video) AI模型,名為Gen-2。使用者只需要描述他們想要的影片內容和風格,就可以創造出對應的影片。
(圖片來源:Runway)
Runway版本介紹
Gen-1 -變化現有影片
Runway 的 Gen-1 神經網絡讓使用者輸入一段影片後,能使用文字指令來加以剪輯,除了常用的變換影片裡面的物件,例如:換色,去除,用別的物件取代,還提供以下影片製作常用的功能。
動態追蹤:即通過AI技術辨別影片中物體的運動軌跡,然後附上其他元素,這些元素就會自動跟隨物體一起運動,不需要自己手動設置軌跡。
AI調色:利用AI技術自動分析畫面的色彩等級,然後依據文本描述的內容對影片裡面的色調做調整,處理的速度非常快,色調調整的效果也非常和諧。
AI Audio:聲音自動生成文字稿,一鍵去除空白音頻,自動去除背影雜音等等。
(影片來源:Runway)
Gen-2 -生成式影片
而現在推出的新模型 Gen-2 則不需要先輸入一支影片或圖片作為風格參考,只需輸入文字指令提示即可創造出影片。當然使用者也能再上傳一張圖片外加文字指令,或只憑一張圖像來生成影片。現在已經開放給所有用戶做使用,Runway 目前提供大約 100 秒的免費影片生成,每個影片約4秒左右。
Runway裡面還有哪些功能?
Runway目前已經開發30多個AI工具,其中一部分是將AI生成技術內置。比如我們之前所熟悉的文字生成影像、根據影像產生不同的風格化、影像延伸擴展、根據文字產生3D貼圖、影片局部放大無損等等技術,在Runway內都可以實現。
(圖片來源:Runway)
如何用Gen-2來製作影片?
Runway官網:https://runwayml.com/
第一步: 註冊完成後會進到工作版,點選下方的Gen-2 Text to Video。
(圖片來源:Runway)
第二步: 在文字框內輸出英文提示描述想要的場景,然後點擊右側的「Generate」生成影片。如果不確定想要什麼內容,可以從其他算過圖的地方找靈感,或是參考別人的prompt來嘗試。
(圖片來源:Runway)
Runway + Midjourney快速產生短影片
我們也可以拿Midjourney所產生的圖,丟到Runway裡面讓它動起來,雖然也是只能產生短短的幾秒,動的方式也無法預期,但是看到影片自己動起來,還是蠻新奇的,建議大家可以多試試。
第一步: 點選下方的Gen-2 Image to Video。
第二步: 上傳圖片並按產生影片
結論:
雖然Runway目前只能自動產生短短的幾秒影片,但已經是足夠讓新手很驚艷。而且,目前已經看到有使用者,將所有的短影片接起來,連貫成一個動畫,效果也是很不錯。
凱瑞覺得這算是一個很大的進程,畢竟對於不會做動畫的人,Runway提供了一個很好製作影片的方式。