张伯礼用“中国方案”抗击疫情

张伯礼:用“中国方案”抗击疫情

开国大典、决胜时刻皆是AI修复

另一方面, DAIN (Depth-Aware Video Frame Interpolation)可对电影中的帧进行预测,并将其插入现有视频之中。换句话说, DAIN分析并映射视频剪辑,然后在现有图像之间插入生成的填充图像。为了在这段1896年的视频中达到与4K同样的效果,Shiryaev为电影填充了足够多图像,从而将“图片放映”提高到了每秒60帧。

雷锋网原创文章,。详情见转载须知。

手术后,医生要求他至少休息两个星期,张伯礼却说:“多给点药,住院一个星期就行。”

另外还对整个模型进行30个epoch的联合训练,然后将每个网络的学习率降低0.2倍,并针对另外10个epoch对整个模型进行微调。值得一提的是,作者在NVIDIA Titan X(Pascal)GPU卡上训练模型,大约用了5天达到收敛状态。

阿努来自孟加拉国,疫情发生时,他正在三峡大学附属仁和医院实习。

DAIN这篇文章的第一作者Bao Wenbo,是上海交通大学电子信息与电气工程学院的博士生。具体工作是基于其在2018年发表的论文MEMC-Net做的改进。

面对突如其来的疫情,阿努一开始很害怕,但看到医护人员全力救治病人,他被深深震撼了。

2月初,阿萌和其他同学度过了隔离期,经过医院检查确认,所有人身体均无异常。

推动民营企业积极履行社会责任,要建立健全民营企业履行社会责任的激励和约束机制。虽然履行社会责任的主体是企业,但是政府在推动企业履行社会责任方面的作用至关重要。一方面,要加大企业履行社会责任的政策支持力度,从政治安排、荣誉表彰、政策扶持、信用评价等各方面形成鼓励民营企业承担社会责任的政策环境,培育打造民营企业履行社会责任的标杆样板。另一方面,依法依规严肃处理缺乏信用、为富不仁、侵害员工和消费者利益、污染环境等缺失社会责任的企业。建立起以法律责任为核心,包括经济责任、权益责任、环境责任、安全责任、诚信责任、道义和慈善责任等内容在内的企业社会责任评价体系。充分发挥舆论宣传的导向作用,加强社会公众的监督,促使企业加大社会责任信息披露力度,提高利益相关者的维权意识与行动能力,形成促进企业自觉承担社会责任的良好社会环境。

“中国人都是好人。”只因父亲的一句话,来自伊拉克的罗珊几年前选择赴三峡大学水利与环境学院攻读博士学位。

三峡大学为留学生发放生活物资 三峡大学供图

这位召之即来、来之能战、战之能胜的“人民英雄”,心中最惦念的永远是患者。他说自己每两个月就会去一趟武汉,因为那里有正在康复的病人,希望他们彻底治愈,回归正常生活。

在今年全国中小学生的“开学第一课”上,张伯礼动情地说:“中医把胆叫‘胆腑’。胆者,中正之官,决断出焉。胆虽然没了,但做决断的勇气不能少。”

今年9月,张伯礼被授予“人民英雄”国家荣誉称号。面对荣誉,他填了一首词——《人民才英雄》,词中写道:“白甲十万,战‘疫’三月酣。江城生死皆好汉,数英雄独颜汗。”

今年寒假前,罗珊的丈夫回伊拉克参加国际会议,她则带着两个孩子留校修改论文。

框架合成。为了生成最终的输出帧,作者构建了一个帧合成网络,该网络由3个个残差块组成。并将扭曲的输入warped深度图、warped上下文特征、warped和插值核连接起来作为帧合成网络的输入。此外,还对两个warped帧进行线性混合,并强制网络预测地面真实帧和混合帧之间的残差。

“我坚信,所有的等待和守护都是值得的,所有的努力都不会被辜负。”阿努说。(完)

在具体的训练策略中,作者使用AdaMax优化网络,分别设置 β1 and β2为0.9 和 0.999,并将核估计、上下文提取和帧合成网络的初始学习率设置为1e−4。由于流估计和深度估计网络都是从预先训练的模型初始化而来的,因此分别使用较小的学习率1e−6和1e−7。

在隔离观察点,阿萌每天要做两次体温检测,饮食由学校安排。相比看电影、玩游戏,阿萌更愿意在微信上和朋友们聊天,与在隔离的同学互相鼓励。身为三峡大学留学生会主席的他,有时候还通过电话协调一些留学生会的工作,帮助老师宣传预防病毒的知识。

来自加纳的留学生阿萌寒假曾赴武汉,返校后在学校医学隔离观察点度过了隔离观察期。

在光流估计模块,采用PWC-NET光流估计模型,由于在没有监督的情况下学习光流是非常困难的,所以作者从预先训练好的PWC-Net中初始化光流估计网络。

另外,《厉害了,我的国》就是中影电影数字制作基地数字修复中心主任肖搏及其团队利用AI修复进行的一次尝试。

“国有危难时,医生即战士。宁负自己,不负人民!”他在抗击“非典”时立下的铮铮誓言在新冠肺炎疫情发生后又一次兑现。

关于实验结果,放两张在不同数据集上与近年论文的优劣,这里不做过多分析。总的来说,作者提出了一种depth-aware视频插帧方案,并尝试显式的解决遮挡区域的问题。借用PWC光流coarse-to-fine的思路,尝试解决large motions的问题。使用学习的分层特征和深度作为上下文信息,更好的合成中间帧。那么,这种类型的深度学习技术在具体的电影修复中能发挥什么样的作用呢?2019年的几部AI修复的影片或许能给我们答案。

截至3月10日休舱,江夏方舱医院总共收治的564名患者中无一例转为重症,无一例复阳。3月19日,武汉新增确诊病例、新增疑似病例、现有疑似病例首次全部归零,这一天也恰逢张伯礼72岁生日,“‘武汉清零’对我就是最好的祝贺了”。

具体在训练过程,作者用网络来预测每个三元组的中间帧(即,t=0.5)。在测试时,模型能生成任意中间帧。另外,还通过水平和垂直翻转以及颠倒三元组的时间顺序来增加训练数据。

阿努打电话对妈妈说:“我即将成为一名医生,不能在这种时刻临阵脱逃。”“我把你送到中国学习,是为了让你成为一名医生,而不是一个弱者。”阿努的决定得到了妈妈的支持。

面对突发的疫情,不知所措的她曾致电伊拉克驻华大使馆。而就在此时,学校负责人和导师告诉她,尽量不要出门,有任何困难随时电话联系,他们的手机24小时开机。“突然觉得自己并不孤独,这让我感到安心了不少。”罗珊说。

具体效果类似于英伟达开源的Super SloMo,即能够从普通的视频“脑补”出高帧率的画面,从30fps插帧到240fps,即使放慢8倍也不会感到卡顿。

损失函数是真实帧和混合帧之间的残差,这种函数名为Charbonnier Loss,是一种L1 loss的变种,只不过加了一个正则项。所采用的训练数据集是Vimeo90K,其有51312个三元组用于训练,其中每个三元组包含3个连续的视频帧,分辨率为256×448像素。

因此,DAIN每秒会自动生成36个图像然后添加到电影中。除此之外,基于同样的AI技术,神经网络可以将一堆彩色照片转换为黑白,然后再训练它重建彩色原稿,这样就可以把黑白电影,转换成彩色。如下视频展示的那样。

除了《开国大典》,9月份上映的《决胜时刻》也是采用了AI技术,据电影制片方爆料,这段材料来自于俄罗斯的一段彩色纪录片,但由于年代久远,画质模糊,色彩失真。而经过了复杂的 4K 修复工作之后,最终呈现出这般极致的画面体验。

然而,在武汉超负荷的工作下,张伯礼胆囊炎发作,并于2月19日接受了微创胆囊摘除手术。他调侃道,“这回我把胆留在了武汉,更加与武汉市民肝胆相照了。”

一个深度感知光流投影层来合成中间流,中间流对较远的对象进行采样。此外,学习分层功能以从相邻像素收集上下文信息。更为具体的如上图所示,整个算法分为光流、深度、上下文特征、插值kernel、框架合成这几个部分。

疫情期间,国家中医药管理局先后与意大利、德国、日本等几十个国家和地区交流中国的中医药诊疗方案、有效方药和临床经验。

深入了解情况后,张伯礼和专家组认为,要迅速采取措施,对疑似、发热、密接和确诊四类人,进行分类管理、集中隔离。还要采用“中药漫灌”的方式,让患者普遍服用治湿毒疫的中药汤剂。

截至目前,连花清瘟胶囊已在加拿大、印度尼西亚、巴西等多个国家和地区获得上市许可。张伯礼也在几十场海外连线中,分享中国抗疫经验。

DAIN基于深度学习的视频插帧技术

推动民营企业积极履行社会责任,要充分发挥工商联引导推动和平台搭建作用。要充分发挥各级工商联的组织优势,建立和完善民营企业社会责任工作推进机制,将促进民营企业履行社会责任作为工商联常态化重点工作落实到位并与目标考核相挂钩,搭建起以工商联为主体,联动党政相关部门和专业机构的工作平台。各级工商联和直属商会要建立民营企业社会责任报告定期发布制度,鼓励执常委企业带头发布社会责任报告。要将社会责任纳入工商联教育培训体系重要内容,建立完善民营企业履行社会责任交流学习机制,研究制定推动民营企业履行社会责任的总体规划方案,建立多层次的交流和成果转化渠道,为民营企业提供社会责任组织治理和管理的工具方法,努力创造民营企业履行社会责任的良好环境。

推动民营企业积极履行社会责任,要充分认识民营企业履行社会责任的重要意义。团结带领广大非公有制经济人士听党话、跟党走,促进“两个健康”是工商联的根本任务。要站在统筹推进“五位一体”总体布局和协调推进“四个全面”战略布局的高度看待企业社会责任工作,把促进民营企业履行社会责任作为“两个健康”工作的切入点和着力抓手,将社会责任作为衡量民营企业是否健康发展、民营企业家是否健康成长的重要标准,引导民营企业家自觉践行以人民为中心的发展思想,牢固树立责任意识,增强履行企业社会责任的荣誉感和使命感。这既是党的统战工作和促进民营企业高质量发展的要求,也是坚持“政治建会、团结立会、服务兴会、改革强会”,开创新时代工商联事业蓬勃发展的创新之举。要在为民营企业呼吁政策落实和改善营商环境的同时,通过正确的价值引领,持之以恒地引导规范,帮助民营企业在健康发展的道路上走得更好、走得更远。

插值kernel自适应warping layer部分,主要思想是通过光流找到像素的新位置后,将其新位置周围4×4范围内与一个特殊的kernel相乘后作为该点的像素值。这个kernel由两部分相乘得出,一部分是我们图像缩放时常用的双线性插值,其中每个位置的权重只与坐标距离有关,另一部分也是一个内插值kernel,是通过网络学习得出的。

载誉归来 “人民英雄”时刻坚守

这部电影采用35mm格式胶片制作,由于当时的放映机由手摇进行驱动,其原始帧率大概在16帧到24帧之间。

位于湖北省宜昌市的三峡大学是教育部来华留学示范基地,在校留学生有1400余名。寒假期间,像罗珊一样留校的留学生有500余名。他们一方面按照学校要求严格约束自己,一方面互相帮助,尽己所能协助校方落实防控措施。

中西医结合,中西药并用,在新冠肺炎疫情防控过程中,中医药人守正创新、传承精华,交出一张漂亮的答卷。

如今,阿努虽然不能到一线提供服务,但他时刻关注着疫情,并利用“宅校”时间抓紧自己的专业学习。他说,中国医生给他上了最重要的一课,让他更加坚定了成为一名优秀医生的决心。

在张伯礼看来,整建制承包方舱医院,按中医的理论指导治疗,可以观察出中医药疗效特点和规律,更好指导治疗。2月12日,他率来自天津、江苏、湖南、陕西、河南等地的350余名医护人员组成中医医疗团队,进驻武汉市江夏方舱医院。

通过AI算法,老胶片存在的收缩、卷曲等问题都可以得到解决,但是胶片的撕裂、划痕等都需要专业的修复师一帧一帧地进行修补。但是胶片的撕裂、划痕等都需要专业的修复师一帧一帧地进行修补。

看舌象、摸脉象……张伯礼白天指导临床会诊巡查病区,晚上召集会议研究治疗方案。此外,怎样设置床位、床位间距留多少、空气循环问题、患者吃饭情况……他都要亲自考察过问。

而这个新的插帧算法DAIN比英伟达的算法效果更清晰、帧率更高,可以把30fps的进一步插帧到480fps。具体到算法层面,研究人员提出了一种通过探索深度信息来检测遮挡的方法。

由于当时的胶片技术尚未成熟,我们可以看到画面景物都是比较模糊的,火车在驶来的同时还带有明显的拖影。但经过了神经网络的画面分辨率增强和插帧之后,这部老电影获得了4K ~ 60fps的画质。

在这位“无胆英雄”的推动下,中医药全过程介入新冠肺炎救治。武汉16家方舱医院累计收治患者超过1.2万人,每个方舱医院都配备了中医药专家,同步配送中药方剂,中药使用率达90%。

上下文特征部分,作者提出,在CtxSynNet论文中已经证明上下文信息(contextual feature)的加入对视频插值有一定帮助。所以在这篇论文中,作者基于Residual block自己设计了一个提取上下文特征的网络,并从头开始训练。

“人民英雄”国家荣誉称号获得者、中国工程院院士、天津中医药大学校长张伯礼,通过中西医结合、中西药并用,将“中国方案”应用于抗击疫情中。

初到武汉时,疫情形势正值最严峻的时刻。医院里人满为患,各类患者交织在一起,极易交互传染。

作者 郭晓莹 柳萍 王子冠 肖融霜

“中国人民善良、坚强,一定能战胜疫情。”她说,自己会安心留在学校,并保护好一家人,静待求索溪畔柳绿花红。

根据官网介绍,Gigapixel AI软件内嵌专有的插值算法,在分析图像的同时能够识别图像的细节和结构,即使将图像放大 600%,它也可以使图像更清晰。值得一提的是,电影中的图像有的是通过GAN生成的。

1月27日,农历大年初三,正在天津指导疫情防控工作的张伯礼临危受命飞赴武汉,作为中央疫情防控指导组专家组成员投身抗疫最前线。

《火车进站》这部短片原始原片质量非常模糊,分辨率非常低。Shiryaev使用Gigapixel AI渲染后,自己为这部电影加上声音后,观影体验竟然完全符合现在的标准。

肩负使命 提出抗疫的“中国方案”

“这里是我的第二故乡,危难面前,我们不能做旁观者。”阿萌说。

去年是建国70周年,除了气势恢宏的阅兵给人们留下了深刻的印象之外,10月下旬上映的《开国大典》也着实让人感动了一把,这部电影展现了三次战役胜利到开国大典的整个历史过程。

而爱奇艺开发ZoomAI也是一款基于深度学习的视频修复技术,此技术内部由多个模块组成,每个模块负责一种或者几种画质增强的方向,比如超分辨率,去除噪声,锐化,色彩增强等等。

在9日“英雄的人民 人民的英雄”——全国抗击新冠肺炎疫情先进事迹报告会上,刚刚从武汉回来的张伯礼脸上洋溢着微笑,“我去武汉市中医医院,他们写了个大横幅,欢迎张伯礼回家,我感到很亲切,就像是回家的感觉。”

将百年老片修成4K大片,深度学习技术出了不少力,更为具体的是视频插帧技术在深度学习里的体现。当然,深度感知视频帧内插(Depth-Aware Video Frame Interpolation)也不是最近才出现的技术。早在2019年,此项技术的相关论文就被收录到CVPR 2019,相关算法也已经开源在了Github上。

许多医生劝张伯礼好好休息,“老爷子干活太拼命了,每天少的时候就睡一两个小时。”但他依旧“我行我素”。

不负人民 一切为了救人

如今,张伯礼还会来到天津中医药大学第一附属医院出诊。身穿白大褂的他,一如往常步履矫健、面带微笑地走进诊室。“要把荣誉珍藏起来,化作一种精神和力量,更加努力地工作。”

每个模块都是由一个或者多个深度学习模型组成。综上所述,利用卷积神经网络和最先进的图像识别技术,让经典老电影重现光彩已经不是遥不可及的事情。与其他方法相比,通过基于深度学习的技术来修复电影可以节省时间和精力。经典电影的修复和数字化也能使人们能够更方便地获得更多文化产品。

雷锋网(公众号:雷锋网)

“病毒没有国界,疫情不分种族,2020年人类有个共同的心愿,就是尽快战胜疫情。”张伯礼说。

这部电影在1989年9月21日初映,全片分为18卷,共164分钟。由于当时的拍摄条件,重新上映必须修复画质。在修复过程中,制作方最大化地利用DRS修复系统的功能,把自动化修复与人工修复结合。

(新华社天津11月10日电 记者宋瑞、栗雅婷、张建新)

在深度部分,不同于过去的网络模型采用的是计算平均值的方式,为了处理处理遮挡区域的问题,此作者提出了一种使用深度辅助来计算tt时刻的光流融合结果。融合的权重使用的是深度值的倒数,简单的来说就是深度值越大的像素(距离越远的像素),在光流合成的时候所占的权重越小。

新时代赋予新使命,新形势提出新要求。广大民营企业家应当努力适应时代变革,自觉把个人命运、企业命运融入国家和民族命运,致富思源,回报社会,回馈人民,与人民群众共享改革发展成果。要把爱国之情、强国之志、报国之行统一起来,把企业的梦想融入实现中国梦的壮阔奋斗之中,让企业“由大到强”与国家“由富到强”实现同频共振,在推进企业自身转型升级的同时,勇于承担社会责任,积极投身精准脱贫、污染防治和防范化解风险三大攻坚战,在保障民生、依法纳税、诚信经营、扩大就业和构建和谐劳动关系等方面努力作为,积极参与国家战略和光彩公益慈善事业,以实际行动回报党、回报国家、回报社会、回报人民,为全面建成小康社会、实现中华民族伟大复兴的中国梦做出新的更大贡献。(中华工商时报评论员)

有人问他,为什么不从一线撤回?“武汉一线的工作还需要我,不可能撤回。我就是去给人治病的,自己得病是关键时刻掉链子,不值得说。但是病了怎么办?赶紧手术,继续上前线战斗,这是理所当然的事。”张伯礼说。

为了更顺利地进行修复工作,肖搏团队开发了“中影·神思”人工智能图像处理系统,靠计算机大数据深度学习算法,在四个月内修复增强了30万帧图像。利用“中影·神思”,修复一部电影的时间可以缩短四分之三,成本减少了一半。

如果不是电影黑白的画面和胶片电影独有的画面抖动,画面流畅度和清晰度几乎可以与现在的智能手机相媲美。这部影片的修复工作是由一位名叫 Denis Shiryaev的男子完成的,其所使用的是Topaz实验室的Gigapixel AI以及DAIN image 图像编辑应用程序。在修复过程中,他不仅将镜头提高到4K,还将帧率提高到每秒60帧。

解除隔离后的阿萌更加关注疫情动态动态,尽力协助学校对留学生的防疫工作进行有序布置和指导,为留学生提供服务,并落实好防控措施。