作者｜鹿堯
電影修復是一個世界性課題，讓一部橫跨世紀的老電影重回大銀幕，這件事的意義不僅僅是為了讓經典重現，也是對當年文化的一種拾遺。
拿北京國際電影節來說，它每年都會有一個特殊的展映單元「致敬·修復」，收錄當年被精心修復過的老電影在活動中公映。今年的北影節也不例外，片單中包含了兩部4k修復版本的電影《a計劃》和《賣身契》，這是由火山引擎提供技術支持、並與中國電影資料館共同完成修復的兩部作品。
秉持着「修舊如舊，尊重原創」的原則，《a計劃》和《賣身契》歷經物理、數字、ai等多重技術修復，最終以更清晰、更流暢、更還原本色的4k效果呈現在觀眾面前。一位80後女觀眾表示，看完全片，雖然自己對劇情和台詞已經熟悉，但相比小時候的錄像帶，4k修復後的影片更有視覺衝擊力。
《a計劃》、《賣身契》海報
從具體的修復過程來看，如果說電影是每秒24幀的藝術，那麼電影修復則是一幀一幀的技術挑戰。事實上，早在去年，在這項由抖音、火山引擎和中國電影資料館共同發起的「經典香港電影修復計劃」中，技術人員就曾首次將aigc視覺大模型引入到影片修復，對大模型進行了生成質量和效率等方面的算法優化。
如今隨着sora等大模型在視覺領域的發展，視覺大模型不僅運用在視頻生成、修改、融合和延伸等多種場景，還可以應用到剪輯和特效製作等影視產業的流程中。在這樣的背景之下，火山引擎的修復工作，既讓老片重現了光彩，同時也是ai大模型實際應用落地的一次檢驗和展示。
01
把一部老電影重新搬上銀幕
究竟有多困難 ？
《a計劃》與《賣身契》都是上世紀港片黃金時代的經典作品，不過和《a計劃》充滿了硬橋硬馬的特效和實戰風格不同，《賣身契》作為一部許氏喜劇，更強調對香港社會現實的寫照：
藝人薛志文因賣身契束縛於電視台，無法跳槽。他與弟弟志英、好友朱世傑聯手策劃解除合約，期間上演了一幕幕笑料橫生的戲碼。電影不僅僅刻畫了一個和權勢鬥爭的打工人形象，導演許冠文更以幽默筆觸，犀利諷刺了社會中的人情淡薄與金錢至上。
時隔多年，當你再打開這部《賣身契》，個中意味仍然深長。就像同名主題曲中講述一個人從嬰兒到成家立業的種種瑣事，這同樣也照進了今天無數人的人生。
遺憾的是，這部46年前的作品受限於當時的技術和設備，電影膠片歷經歲月，已出現偏色、變形，直接影響了畫面清晰度和穩定性，對焦不準更使得原片中出現不少模糊畫面。而在現實情況里，這些都並不鮮見，甚至已經成了整個行業困境的縮影。
在電影誕生初期，膠片都是硝酸片基，溫度超過40度就會存在自燃風險。後期雖然換了醋酸片基，但仍面臨著酸化、變質等問題。除此以外，保存、運輸不當，潮濕、高溫環境，機械磨損、頻繁使用及清潔不當，也都會給影像質量產生負面影響。
一部老電影要想從修復間走上銀幕，經歷的困難遠比想像多。一般情況下，電影修復分為物理、數字、藝術修復三個步驟：物理修復涉及膠片接補、清潔等，為數字化掃擋做準備；數字修復則逐幀處理各種瑕疵；藝術修復還原影片原色，力求「修舊如舊」。這些都需要專業的設備和人員來進行操作。
受損的膠片更需要專人手工修復，經過反覆的試驗和調整，方能達到最佳還原效果。
對於受損非常嚴重的膠片，修復師需要進行細緻的手工修復，幀對幀地精確分析處理，調整色彩亮度等參數。據了解，一部影片大概有12萬到15萬幀，往往需要十來個人進行反覆的試驗和調整。普通的2k修復依靠人工大概用兩到三周完成，而4k畫質更好、觀感更清晰細膩，修復時間起碼在兩個月以上，甚至半年之久。
你很難想像，自20世紀初，這樣的老電影已經積攢了近3萬部。換句話說，它們會不會消失，就看修復的速度能不能趕上膠片衰退的速度。
隨着深度學習等ai技術的飛速發展，以火山引擎為代表的技術公司給行業帶來了一些新的解法。比如針對《賣身契》的色偏問題，火山引擎利用ai技術預測並糾偏畫面白點的校色矩陣；對於畫面老化、模糊等挑戰，工程師運用先進的神經網絡模擬清晰化過程，使畫面更加細膩真實。
修復前vs修復後
ai不僅能解決很多的重複性工作，還可以自動識別和修復影片中的缺陷，噪點、黑色缺陷、抖動等損傷都能通過學習大量數據進行修復。除此以外，用降噪算法減少視頻中的噪聲、用去霧算法消除惡劣天氣對畫面的影響，還有插幀技術提高視頻的流暢度和清晰度，ai正在讓影片修復這件事變得更有看頭。
02
如何衡量一部老電影的現代修復標準？
作為脫胎於位元組跳動的技術中台，成立至今，火山引擎多媒體實驗室每天都要對抖音、西瓜視頻等平台上的海量投稿進行畫質處理，尤其是對低配機型拍攝的低畫質素材進行優化，使得它不僅掌握了海量的數據處理經驗，還擁有了大量先進的視頻處理技術。
早在2021年，火山引擎就曾聯合西瓜視頻在一年內對百餘部經典動畫作品進行4k修復，後續還與抖音合作，完成了beyond演唱會的修復工作。就在去年，團隊又聯合抖音、中國電影資料館共同發起了「經典香港電影修復計劃」，利用ai+人工的技術對上百部影片開展修復。
對修復人員來說，這門工作是一個講究長期性的過程，只有大規模的實踐和技術的持續迭代，才能夠取得技術上的突破。
舉個例子，不同於以前的算法，火山引擎的工程師們在經典香港電影修復計劃中首次應用了視覺大模型，藉助stable diffusion的生成能力，讓畫面的細節表現更加自然；在學習了海量數據對後，大模型的生成空間也更豐富，能夠應對更複雜的修復場景。
不過這種方式也會帶來風險，例如在圖像轉換或處理時，尤其是進行降噪、銳化等操作，一旦模型設計、調優、訓練數據不足，或有不同場景下的光照、物體反射等影響，圖像中的某些特徵就會被過度強化或削弱，進而生成偽影和虛假紋理，影響到視頻多幀場景的穩定性。
另一方面，在面對極低畫質下人像模糊的考驗時，和普通的回歸模型相比，diffusion擴散模型雖然能夠捕捉到更多的人像細節，但它同樣可能會導致重建時可能讓圖像變得不那麼真實。
面對以上問題，火山引擎在算法和工程上又進行了一系列優化，提升了大模型在4k場景下的處理效率併兼顧算力成本。隨着修復工作的深入，他們並不簡單粗暴地提升畫面效果，而是更注重還原那個年代電影的原汁原味，在這樣的認知下，團隊研發了一種自適應的質感增強方案。
這個方案會根據不同區域的亮度自適應生成顆粒融合曲線，增加一些隨機斑點和老式的顆粒狀外觀，模擬老電影真實的拍攝噪聲，這些顆粒隨機分佈，與影片融合，讓電影的質感瞬間提升。
除了人像和畫面，影片中的一些文字修復也被團隊考慮到，比如一些字幕、場景中的文字，這些細枝末節會隨着影片老化而退化。火山引擎團隊針對大文字、小文字分別設計了不同的技術方案，達到對文字的有效重建。
修復前vs修復後
對於影片修復的工程師來說，比起通過更高超的算法技術，將畫面的效果變得更寫實、更鮮艷，實際上他們面臨的最大挑戰，是保留影片原有的藝術風格：
在這一過程中，火山引擎和中國電影資料館進行了多輪溝通和討論，經過不斷的測試和反覆地調優，努力達到算法服務於藝術的理想效果。
修復團隊還找到原來的主創人員，包括導演、攝影師等，深入交流後收集他們的意見和建議；這些寶貴的意見，能夠指導修復團隊進一步訓練單獨的算法，從而再反哺到畫面的修復中。
倘若發現通過模擬退化獲取的匹配數據，並不能反映真實的損傷情況，修復人員甚至會用大模型來評估圖像的質量，通過提示來控制增強的效果。
不過以上又延伸出另一個問題：技術之外，工程師如何建立一個新的標準，在不破壞質感的前提下，把老電影修得更現代，更容易讓現代年輕人接受？
經典影片往往承載着特定時代的文化和審美觀念，但現代觀眾的主觀感受也是修復方案的重要一環。據中國電影資料館事業發展部主任黎濤介紹，在指導《武狀元蘇乞兒》的修復過程中，陳嘉上導演表示，希望把這部片子修得更現代，更容易讓現代年輕人接受。
因此，今年一月，針對港片和畫質相關的問題，火山引擎從各個平台篩選50多位影迷對不同技術方案的4k修復版《開心鬼》進行測評，背後就是基於其「面向用戶體驗」的數據體系：qos（技術質量）和qoe（體驗質量）。
這套數據體系的意義在於，它將技術質量和用戶體驗緊密結合，通過客觀和主觀兩方面的評估，為修復人員提供了全面的優化方向。相當於火山引擎建立了一個新的修復標準，通過適度的創新和調整，使修復後的影片既符合歷史價值，又能夠滿足現代觀眾的審美需求。
03
影視修復
視覺大模型應用落地的新思路
今年sora給整個視頻行業帶來了前所未有的地震，基於transformer架構，它能夠根據文字、靜態圖像生成長達60秒的高質量視頻，無論是複雜的攝像機運動，還是多個角色的情感表現，sora的視頻效果顛覆了人們對以往ai能力的想像。
但事實上，相比僅僅去關心sora的生成作品，人們更能夠注意到，大模型的出現，一旦真正落地到某一個具體的產業，它可以用更低的成本和更高的時效，生產出相應高質量的內容，在改變遊戲規則的同時，提升整個行業的運轉效率。
仍以sora為例，它在生成不同風格和畫幅的高清視頻，同時，也可以根據圖像及語義填充視頻的缺失幀，這其實能夠給影片修復行業帶來一定的啟示：利用大模型將老舊影片轉化為高清版本；通過ai的學習能力彌補影片的丟幀，對拍攝時技術限制導致的畫面缺陷，通過智能分析進行針對性修復。
而這些，正是火山引擎影片修復團隊在探索的事情。
就在前不久，火山引擎在ntire cvpr 2024盲壓縮圖像增強賽道的挑戰賽中獲得冠軍，再次驗證了ai在影片修復中發揮的價值。而這項技術，針對的正是修復過程中最難的一個點：如何解決老片修復過程的大量不可預知的損害。
老電影的膠片在轉換成數字格式時，經常會因為壓縮而變模糊或失真，如果說傳統的修復技術是在原有畫面基礎上縫縫補補，那麼盲壓縮圖像恢復(cir)的方案則借鑒了ai大模型中的提示詞學習概念。簡單來說，就是給ai一個「提示」，讓它知道哪裡需要修復，怎麼修復，通過設計基於提示學習的網絡，動態地感知圖像的內容和失真情況，來恢復不同壓縮級別的圖像。
這種方法的優點在於非常輕，不需要太多的計算資源就能工作。這樣一來，它就能適應不同壓縮級別的圖像，而且不用佔用太多的存儲空間。同時，它的處理速度比傳統的ai大模型要快很多，但修復效果卻不相上下。
類似的例子還有很多，在火山引擎進行影片修復的同時，不斷迭代升級出的新技術，其實也會對其他行業產生借鑒意義，比如同樣的ai技術如果能夠用於修複電影，那麼同樣的原理也可以應用到其他需要進行圖像處理的領域。
換句話說，也許當下所做的影片修復，並不僅僅是為了現在的技術去彌補藝術的遺憾，用更深遠的眼光來看，這也是ai大模型應用落地的一次酣暢淋漓的實驗：ai如何更好地商業化，如何變得更加實用，在人們都在尋找答案的時候，火山引擎已經給出了一些參考。
