300年の時を経て、レンブラントの絵画「夜警」から切り落とされた部分がニューラルネットワークで再現される

headless 曰く、

レンブラントの絵画「夜警」から切り落とされた部分がニューラルネットワークで再構築され、オランダ国立美術館で展示されている(プレスリリース、 プロジェクトページ、 Missing pieces of The Night Watch、 Associated Press News の記事、 The Verge の記事)。

市民隊の依頼により市民隊の活動を描いた「夜警」は1642年に完成し、当初は市民隊の宴会場に展示されていた。しかし、1715年にアムステルダム市役所へ移された際に大きすぎたため上下左右の端が切り落とされ、その断片は失われている。切り落とされる前の構図はオランダの画家 ヘリット・ルンデンスによる模写で確認できるが、この模写はオリジナルよりもずっと小さく、筆致もレンブラントのものとは異なる。

再構築プロジェクト「Operation Night Watch」では人の手によらずレンブラントのオリジナルを再現することを目指し、3つのニューラルネットワークで処理が行われた。まず、最初のニューラルネットワークにはオリジナルと模写のセマンティックな対応を作らせ、次のニューラルネットワークで模写にのみ残された部分をオリジナルと完全に揃うよう拡大・縮小・回転を計画、最後のニューラルネットワークはオリジナルと模写を学習してルンデンスが描いた部分をレンブラントがどのように描くかを予想させたとのこと。

再構築の結果はオリジナルの大きさでプリントアウトされ、現在残っている379.5cm×436cm のオリジナルに継ぎ足して展示されている。再構築後のサイズは393.1cm×507.4cm だという。