游戏介绍
选自arXiv 作者：SIMON NIKLAUS等 机器(🏰)之心编译 参与：魔王 论文地址：https://arxiv.org/abs/1909.05483 Ken Burns 特效，是一种通过虚拟摄像机扫(😎)描和缩放使静止图片动态化的特效。添加视差是创建 3D Ken Burns 的重要因素，带来(🍻)了很多不可思议的画面。手动创建此类特效很费时间，并且需要足够(🙎)的图片编辑技巧(👢)。 但是，现有的自动方法需要多张不同视角的输入图像。最近，来自美国波特兰州立大学和 Adobe 的研究人员提出了一种新框架，它能基于单张(🛰)图像合成 3D Ken Burns 特效，并支持全自动模式和用户控制摄像机的交互模式。 图 1：单张图像生成的 3D Ken Burns 特效。基于单张输入图像和用户自选标注（以裁剪窗口形式），该框架使静止输入图像动态化，并通过添加视差来合成 3D Ken Burns 特效。 示例如下： 该框架首先利(🛑)用景深预测流程，估计适合视图合成任务的景深。为了解决现有景(💷)深估计方法的局限性，如几何失真、语义失真和不准确的景深边界，研究者开发了一种语义感知神经网络用于景深预测(😫)，辅以基于分割的景深调整流程，并使用精炼神经网络提升目标边界的景深预测(💮)准确率。 该框架根(🌵)据景深估计，将输入图像(🖍)映射至点云，并从对应的摄像机位置渲染点云，从而合成最终的视频帧。为了解决空洞问题（disocclusion）同时保(🚥)证合成结果具备时间和几何连贯性，研(🦑)究者利用上下文感知的颜(🦕)色修复和景深修复技术，填充摄像机路径极端视图中的丢失信息，从(🧀)而扩展点云的场景几何（scene geometry）。研究者对(🦎)大量图像内容进行实验后发现，该方法可以实现逼真的合成结果(🍸)。该研究表明，相比已有的 3D Ken Burns 特效生成(💢)方法，这(🛸)一系统不费吹灰之力即可实现更好的合成结果(🍳)，。 研究贡献 这篇论文主要介绍如何基于单张图像，自动合成 3D Ken Burns 特效。研究者纳入了简(😑)单的用户指定摄像机路径（可选），以期望开始视图和(🥊)结束视图进行参数化，保证用户对合成特(🥙)效的控制。 基于(🔑)单张图像合成逼真的移动镜头效果是一个非常难的问题，它需要解决两(🛺)个基础难题：(🥖)1）要想基于(🚴)新摄像机位置合成新视图，就需要准确复原原始视图的场景几何；2）从预测场景几何中(🛤)合成具备时间连贯(🏥)性的新视图序列需(✂)要处理空洞难题。该研究解(🕋)决了这两大难题，并提供了一个基于单张图像合成 3D Ken Burns 特效的完整系统。 首先，该系统基于输入图像(😥)估计景深图。近年来现有的景深预(🚭)测方法迅速发(📼)展，但单目景深估计仍然是难解问题。研究(⛑)者观察到，已有(❔)的景深预测方法并不是特别适合视图合成任务。具体而言，研究者发现要想使用这些方法进行 3D Ken Burns 特效合成需要解决三个(😺)关键问题：几何失真、语义失真和不准确的景深边界。 基于此，研究(💥)者设计了一个景深估计(🉐)流程以(🛸)及专门解决这些问题的(🌴)训练框架。他们开发了语义感知景深估计神(📴)经网络，并在其最新创(💮)建的大规模合成数据集上进行模型训练，该数据集包含不同照片级真实感场景(✨)的真值景深。 这样，景深预测流程和新型视图合成(🏉)方法结合起来形成一个完成的(Ⓜ)系统，可实现基于单张图像的 3D Ken Burns 特效生成。该系统提供全自动的解决方案，自动确定虚拟摄像机的开始视图和结束视图，从而最小化遮蔽物的数量。 3D Ken Burns 特效合成 该框架(🤰)包含两个(⭐)主要组件：景深估(🕌)计流(🌝)程（见图 3）和新型视图合成流程（见(🎇)图 7）(🐳)。 语义感知景深估计 图 3：该研究提出的景深估计流程(🏇)图示。给出一张高分辨率图像，研究者首先基于低分辨率输入图像估计粗糙景深。 要想合成 3D Ken Burns 特效，该方法首先需要估计输入图像的景深。研究者将景深估计分为 3 个步骤： 图 4：景深估计中(🦕)间结果。该示例展示了(🌉)景深(😒)估计流程中每一步的贡献。 最初估计(💽)的景深遭受语义失真（红(🥙)色汽车）和不准确的精神边界（如塔轮廓上(🌂)的(😻)凸起）。景(♍)深调整可解决红色汽车的语义失(🔦)真(🥪)问题，景深精炼可解决目标边界的细微细节问题。 上下文感知的视图合成修复技术 为基于景深估计合成 3D Ken Burns 特效，该研究提出的方法首先将输入图像映射至点云中的点。然后沿着预先确定(🎟)的摄像机路径从(💸)对应摄像(🍁)机位(🔸)置开始(🛩)渲染点云，从而合成所得视频中(🤪)的每一帧。但是，点云(🖖)只是从输入图像看到的世(🤚)界几何部分视图，因此(💤)得到的新视图渲染结果并不完整，存在遮蔽物引起的空洞。 图 7：新型视图合成方法图示。基于输入图像点云和景深图，从新的摄像机位置渲染(⏩)后续新视图。 该研究设计了一个专门的(🕗)视图合(🏡)成流程来解决图 7 中的要求(📄)。给出输入图像的点云及其景深估计(👒)，研究者利用颜色(🥁)修复和景深修复技术填充不完整新视图(🌾)渲染结(⬛)果的丢失区域。 图 5：点云渲染图示。用初始景深估计(🤓)的点云展现深度精炼的重要性，因为目标可能会在目(🍭)标边界处被分割开。 涉及景深的图像修(😿)复技术可实(🥅)现几何连贯的图像修复。然后使用修复景深将修复颜色映射至现有点云中的新点，从而解决遮蔽物的问题(💠)。 要(⏮)想按预先(😔)确定的摄像机路径合成 3D Ken Burns 特效，仅在起始和结尾等极端视图(⛴)中执行颜色和景深修复即可。渲染扩展(🚦)后的点云可保持时间连贯性，而且能(💸)够实时完成。 图 6：视频合成结果示例，对比了两种流行的即拿即用图像修复方法和该研究提出的方法。由于待修复区域本质上并非矩形，因此 DeepFill 无法修复(😭)出合理的结果。EdgeConnect 的修复结果更加合理，但不(♋)具备时间连贯性(🐍)且无法保持目标边界(😢)。而该研究提出的修复方法既具备时(🛠)间连贯性，又能保持(🌔)清晰的目标边界。 实验 研究者对比了现(🐣)有解决方案和新框架在合成 3D Ken Burns 特效(🚿)方面的效果。他们考虑了两种商业系统：第一种是 Photo Motion 软件包，是(🤖) Adobe After Effects 的模板；第二种是移动 app Viewmee，它可使非专业用户(😠)轻松创建 3D Ken Burns 特效。 图 10：易用性研究结果。新系统可使用户不费吹灰之力(🏭)得到优秀结果。 图 11 展(😅)示了两个示例，对比了新方法生成的 3D Ken Burns 特效和使用同样开始视(🖨)图、结束视图裁剪窗口得(🖥)到(🖕)的 2D 版(🙉)本。2D 版本具备典型的缩放特效，但没有视差。而新方法(🚭)包含逼真的移动视差和强大的景深预测，因此特(🔦)效结果更好。 图 11：2D Ken Burns 和 3D Ken Burns 特效对比图。注意移动视差方面的差异。 表 1（上）根据每个基准定义的不同量化指标对比不同方法的景深预测质量。该(💔)研究提出的方法在所有景深质量指标上均可媲美当前最优的景深预测方(💆)法。 表(🛣) 1（下）列(🙃)举了新方法的两种变体，方便更好地分析景深估计网络和(😩)训练数据集的效果。具体而言，研究者使用 DIW 数据集的所有可用训练数据训(🧢)练网络架构，与基于研究者创建的数据集(⛪)训练的网络进行对比。 表 1：景深预测质量。新方法在所有景深质量指标上均可媲美当前最优的深度预测方法。
【苹果游戏推荐2021的相关新闻】
猜你喜欢
💟相关问题
1.请问哪个网站可以免费在线观看动漫《2D照片秒变3D，Adobe新方法让你只用一张图像轻松做特效》？
优酷视频网友：http://www.youxise.com/xiazaiyouxiyouxidaquan.html
2.《2D照片秒变3D，Adobe新方法让你只用一张图像轻松做特效》是什么时候上映/什么时候开播的？
腾讯视频网友：上映时间为2022年，详细日期可以去百度百科查一查。
3.《2D照片秒变3D，Adobe新方法让你只用一张图像轻松做特效》是哪些演员主演的？
爱奇艺网友：2D照片秒变3D，Adobe新方法让你只用一张图像轻松做特效演员表有,导演是。
4.动漫《2D照片秒变3D，Adobe新方法让你只用一张图像轻松做特效》一共多少集？
电影吧网友：目前已更新到全集已完结
5.手机免费在线点播《2D照片秒变3D，Adobe新方法让你只用一张图像轻松做特效》有哪些网站？
手机电影网网友：美剧网、腾讯视频、电影网
6.《2D照片秒变3D，Adobe新方法让你只用一张图像轻松做特效》评价怎么样？
百度最佳答案：《2D照片秒变3D，Adobe新方法让你只用一张图像轻松做特效》口碑不错，演员阵容强大演技炸裂，并且演员的演技一直在线，全程无尿点。你也可以登录百度问答获得更多评价。
单机游戏周榜单