95后杭州少女領銜,AI視頻生成賽道,新星閃耀。
6月上旬,Pika拿到8000萬美元B輪融資。
這家硅谷創業公司,成立僅一年,已完成了5輪融資,背后站著硅谷一眾明星資方。
創始人是兩位“學霸”女生——郭文景和孟辰霖,均為斯坦福大學AI Lab博士生。
4月,Pika入選福布斯AI 50強榜單。據透露,新一輪融資后,公司估值將超4.7億美元,接近35億元人民幣。
在對話框中輸入“馬斯克穿著太空服,3D動畫”,“宇航員”馬斯克便立馬出現在屏幕上,身后的SpaceX火箭噴射火焰、騰空而起——這是一段Pika 1.0的宣傳視頻。
去年11月,郭文景團隊發布了這款文生視頻產品,以電影般的質感、動畫級的特效,引起關注。
Pika 1.0能生成3D動畫、動漫、卡通和電影等各種風格的視頻,用戶還能在生成的視頻基礎上,再次輸入簡短指令,修改視頻局部,或進行畫布延展、時長拓展等編輯。
郭文景的制勝方法是“以小勝大”,即用更少的資源,得到更好的效果。
她解釋,視頻是一種高維的數據,比如,每秒24幀的1080p視頻,分辨率是1920×1080,每秒的維度達到1.5億,再乘以視頻時長,AI處理這一數據量級非常困難。
“視頻的每一個維度,是相互關聯的?!惫木皥F隊抓住了這一特點,“我們只需要知道第一幀的信息,比如,人走路的背景,他的穿著細節,后面的幀就不需要完整畫面?!?/p>
團隊放棄大規模訓練AI高維度數據,而是集中精力研究高效架構和數據壓縮方法。這個方法能節省算力,降低訓練模型的成本,呈現更好效果。
郭文景根據用戶建議,2月上線功能組件Lip Sync,支持視頻人物嘴部動畫和音頻同步,用戶可輸入文字生成音頻或上傳自己的音頻。……