作者｜鹿尧
电影修复是一个世界性课题，让一部横跨世纪的老电影重回大银幕，这件事的意义不仅仅是为了让经典重现，也是对当年文化的一种拾遗。
拿北京国际电影节来说，它每年都会有一个特殊的展映单元“致敬·修复”，收录当年被精心修复过的老电影在活动中公映。今年的北影节也不例外，片单中包含了两部4k修复版本的电影《a计划》和《卖身契》，这是由火山引擎提供技术支持、并与中国电影资料馆共同完成修复的两部作品。
秉持着“修旧如旧，尊重原创”的原则，《a计划》和《卖身契》历经物理、数字、ai等多重技术修复，最终以更清晰、更流畅、更还原本色的4k效果呈现在观众面前。一位80后女观众表示，看完全片，虽然自己对剧情和台词已经熟悉，但相比小时候的录像带，4k修复后的影片更有视觉冲击力。
《a计划》、《卖身契》海报
从具体的修复过程来看，如果说电影是每秒24帧的艺术，那么电影修复则是一帧一帧的技术挑战。事实上，早在去年，在这项由抖音、火山引擎和中国电影资料馆共同发起的“经典香港电影修复计划”中，技术人员就曾首次将aigc视觉大模型引入到影片修复，对大模型进行了生成质量和效率等方面的算法优化。
如今随着sora等大模型在视觉领域的发展，视觉大模型不仅运用在视频生成、修改、融合和延伸等多种场景，还可以应用到剪辑和特效制作等影视产业的流程中。在这样的背景之下，火山引擎的修复工作，既让老片重现了光彩，同时也是ai大模型实际应用落地的一次检验和展示。
01
把一部老电影重新搬上银幕
究竟有多困难 ？
《a计划》与《卖身契》都是上世纪港片黄金时代的经典作品，不过和《a计划》充满了硬桥硬马的特效和实战风格不同，《卖身契》作为一部许氏喜剧，更强调对香港社会现实的写照：
艺人薛志文因卖身契束缚于电视台，无法跳槽。他与弟弟志英、好友朱世杰联手策划解除合约，期间上演了一幕幕笑料横生的戏码。电影不仅仅刻画了一个和权势斗争的打工人形象，导演许冠文更以幽默笔触，犀利讽刺了社会中的人情淡薄与金钱至上。
时隔多年，当你再打开这部《卖身契》，个中意味仍然深长。就像同名主题曲中讲述一个人从婴儿到成家立业的种种琐事，这同样也照进了今天无数人的人生。
遗憾的是，这部46年前的作品受限于当时的技术和设备，电影胶片历经岁月，已出现偏色、变形，直接影响了画面清晰度和稳定性，对焦不准更使得原片中出现不少模糊画面。而在现实情况里，这些都并不鲜见，甚至已经成了整个行业困境的缩影。
在电影诞生初期，胶片都是硝酸片基，温度超过40度就会存在自燃风险。后期虽然换了醋酸片基，但仍面临着酸化、变质等问题。除此以外，保存、运输不当，潮湿、高温环境，机械磨损、频繁使用及清洁不当，也都会给影像质量产生负面影响。
一部老电影要想从修复间走上银幕，经历的困难远比想象多。一般情况下，电影修复分为物理、数字、艺术修复三个步骤：物理修复涉及胶片接补、清洁等，为数字化扫挡做准备；数字修复则逐帧处理各种瑕疵；艺术修复还原影片原色，力求“修旧如旧”。这些都需要专业的设备和人员来进行操作。
受损的胶片更需要专人手工修复，经过反复的试验和调整，方能达到最佳还原效果。
对于受损非常严重的胶片，修复师需要进行细致的手工修复，帧对帧地精确分析处理，调整色彩亮度等参数。据了解，一部影片大概有12万到15万帧，往往需要十来个人进行反复的试验和调整。普通的2k修复依靠人工大概用两到三周完成，而4k画质更好、观感更清晰细腻，修复时间起码在两个月以上，甚至半年之久。
你很难想象，自20世纪初，这样的老电影已经积攒了近3万部。换句话说，它们会不会消失，就看修复的速度能不能赶上胶片衰退的速度。
随着深度学习等ai技术的飞速发展，以火山引擎为代表的技术公司给行业带来了一些新的解法。比如针对《卖身契》的色偏问题，火山引擎利用ai技术预测并纠偏画面白点的校色矩阵；对于画面老化、模糊等挑战，工程师运用先进的神经网络模拟清晰化过程，使画面更加细腻真实。
修复前vs修复后
ai不仅能解决很多的重复性工作，还可以自动识别和修复影片中的缺陷，噪点、黑色缺陷、抖动等损伤都能通过学习大量数据进行修复。除此以外，用降噪算法减少视频中的噪声、用去雾算法消除恶劣天气对画面的影响，还有插帧技术提高视频的流畅度和清晰度，ai正在让影片修复这件事变得更有看头。
02
如何衡量一部老电影的现代修复标准？
作为脱胎于字节跳动的技术中台，成立至今，火山引擎多媒体实验室每天都要对抖音、西瓜视频等平台上的海量投稿进行画质处理，尤其是对低配机型拍摄的低画质素材进行优化，使得它不仅掌握了海量的数据处理经验，还拥有了大量先进的视频处理技术。
早在2021年，火山引擎就曾联合西瓜视频在一年内对百余部经典动画作品进行4k修复，后续还与抖音合作，完成了beyond演唱会的修复工作。就在去年，团队又联合抖音、中国电影资料馆共同发起了“经典香港电影修复计划”，利用ai+人工的技术对上百部影片开展修复。
对修复人员来说，这门工作是一个讲究长期性的过程，只有大规模的实践和技术的持续迭代，才能够取得技术上的突破。
举个例子，不同于以前的算法，火山引擎的工程师们在经典香港电影修复计划中首次应用了视觉大模型，借助stable diffusion的生成能力，让画面的细节表现更加自然；在学习了海量数据对后，大模型的生成空间也更丰富，能够应对更复杂的修复场景。
不过这种方式也会带来风险，例如在图像转换或处理时，尤其是进行降噪、锐化等操作，一旦模型设计、调优、训练数据不足，或有不同场景下的光照、物体反射等影响，图像中的某些特征就会被过度强化或削弱，进而生成伪影和虚假纹理，影响到视频多帧场景的稳定性。
另一方面，在面对极低画质下人像模糊的考验时，和普通的回归模型相比，diffusion扩散模型虽然能够捕捉到更多的人像细节，但它同样可能会导致重建时可能让图像变得不那么真实。
面对以上问题，火山引擎在算法和工程上又进行了一系列优化，提升了大模型在4k场景下的处理效率并兼顾算力成本。随着修复工作的深入，他们并不简单粗暴地提升画面效果，而是更注重还原那个年代电影的原汁原味，在这样的认知下，团队研发了一种自适应的质感增强方案。
这个方案会根据不同区域的亮度自适应生成颗粒融合曲线，增加一些随机斑点和老式的颗粒状外观，模拟老电影真实的拍摄噪声，这些颗粒随机分布，与影片融合，让电影的质感瞬间提升。
除了人像和画面，影片中的一些文字修复也被团队考虑到，比如一些字幕、场景中的文字，这些细枝末节会随着影片老化而退化。火山引擎团队针对大文字、小文字分别设计了不同的技术方案，达到对文字的有效重建。
修复前vs修复后
对于影片修复的工程师来说，比起通过更高超的算法技术，将画面的效果变得更写实、更鲜艳，实际上他们面临的最大挑战，是保留影片原有的艺术风格：
在这一过程中，火山引擎和中国电影资料馆进行了多轮沟通和讨论，经过不断的测试和反复地调优，努力达到算法服务于艺术的理想效果。
修复团队还找到原来的主创人员，包括导演、摄影师等，深入交流后收集他们的意见和建议；这些宝贵的意见，能够指导修复团队进一步训练单独的算法，从而再反哺到画面的修复中。
倘若发现通过模拟退化获取的匹配数据，并不能反映真实的损伤情况，修复人员甚至会用大模型来评估图像的质量，通过提示来控制增强的效果。
不过以上又延伸出另一个问题：技术之外，工程师如何建立一个新的标准，在不破坏质感的前提下，把老电影修得更现代，更容易让现代年轻人接受？
经典影片往往承载着特定时代的文化和审美观念，但现代观众的主观感受也是修复方案的重要一环。据中国电影资料馆事业发展部主任黎涛介绍，在指导《武状元苏乞儿》的修复过程中，陈嘉上导演表示，希望把这部片子修得更现代，更容易让现代年轻人接受。
因此，今年一月，针对港片和画质相关的问题，火山引擎从各个平台筛选50多位影迷对不同技术方案的4k修复版《开心鬼》进行测评，背后就是基于其“面向用户体验”的数据体系：qos（技术质量）和qoe（体验质量）。
这套数据体系的意义在于，它将技术质量和用户体验紧密结合，通过客观和主观两方面的评估，为修复人员提供了全面的优化方向。相当于火山引擎建立了一个新的修复标准，通过适度的创新和调整，使修复后的影片既符合历史价值，又能够满足现代观众的审美需求。
03
影视修复
视觉大模型应用落地的新思路
今年sora给整个视频行业带来了前所未有的地震，基于transformer架构，它能够根据文字、静态图像生成长达60秒的高质量视频，无论是复杂的摄像机运动，还是多个角色的情感表现，sora的视频效果颠覆了人们对以往ai能力的想象。
但事实上，相比仅仅去关心sora的生成作品，人们更能够注意到，大模型的出现，一旦真正落地到某一个具体的产业，它可以用更低的成本和更高的时效，生产出相应高质量的内容，在改变游戏规则的同时，提升整个行业的运转效率。
仍以sora为例，它在生成不同风格和画幅的高清视频，同时，也可以根据图像及语义填充视频的缺失帧，这其实能够给影片修复行业带来一定的启示：利用大模型将老旧影片转化为高清版本；通过ai的学习能力弥补影片的丢帧，对拍摄时技术限制导致的画面缺陷，通过智能分析进行针对性修复。
而这些，正是火山引擎影片修复团队在探索的事情。
就在前不久，火山引擎在ntire cvpr 2024盲压缩图像增强赛道的挑战赛中获得冠军，再次验证了ai在影片修复中发挥的价值。而这项技术，针对的正是修复过程中最难的一个点：如何解决老片修复过程的大量不可预知的损害。
老电影的胶片在转换成数字格式时，经常会因为压缩而变模糊或失真，如果说传统的修复技术是在原有画面基础上缝缝补补，那么盲压缩图像恢复(cir)的方案则借鉴了ai大模型中的提示词学习概念。简单来说，就是给ai一个“提示”，让它知道哪里需要修复，怎么修复，通过设计基于提示学习的网络，动态地感知图像的内容和失真情况，来恢复不同压缩级别的图像。
这种方法的优点在于非常轻，不需要太多的计算资源就能工作。这样一来，它就能适应不同压缩级别的图像，而且不用占用太多的存储空间。同时，它的处理速度比传统的ai大模型要快很多，但修复效果却不相上下。
类似的例子还有很多，在火山引擎进行影片修复的同时，不断迭代升级出的新技术，其实也会对其他行业产生借鉴意义，比如同样的ai技术如果能够用于修复电影，那么同样的原理也可以应用到其他需要进行图像处理的领域。
换句话说，也许当下所做的影片修复，并不仅仅是为了现在的技术去弥补艺术的遗憾，用更深远的眼光来看，这也是ai大模型应用落地的一次酣畅淋漓的实验：ai如何更好地商业化，如何变得更加实用，在人们都在寻找答案的时候，火山引擎已经给出了一些参考。
