Exposition numérique sur l'axe central et l'urbanisme de Pékin Photo : Yang Lanlan/CSST

Le laboratoire d'informatique intellectuelle pour le patrimoine culturel de l'université de Wuhan a dévoilé un théâtre numérique du patrimoine culturel basé sur une recherche collaborative interdisciplinaire. Ce théâtre tire parti de la modélisation d'images de pointe, de la visualisation de données sur grand écran, de la projection immersive en 3D, de la narration virtuelle XR et d'autres technologies numériques. En intégrant des approches et des technologies multidisciplinaires de l'histoire, de la littérature et de l'art, de la gestion de l'information et de l'intelligence artificielle, il a établi une chaîne d'innovation complète comprenant l'incubation numérique, l'intégration virtuelle et réelle, l'exposition synergique, l'expérience immersive et les services intelligents.

L'appui technologique

À l'intérieur du théâtre, grâce à la visualisation de données sur grand écran, des modèles en 3D de collections renommées de musées nationaux et internationaux peuvent être agrandis et tournés. Certains artefacts permettent même d'ouvrir les couvercles et d'explorer les inscriptions qui s'y trouvent. En portant des lunettes de réalité virtuelle, on peut se retrouver instantanément immergé dans l'espace virtuel des grottes de Dunhuang, où les sculptures et les peintures murales de Bouddha prennent vie de manière saisissante.

Le patrimoine culturel est à la fois le support et l'incarnation de la civilisation humaine. À l'ère numérique, les technologies de collecte et d'enregistrement numériques peuvent être utilisées pour traiter diverses formes de patrimoine culturel matériel et immatériel, ce qui donne lieu à diverses formes de documentation numérique. Grâce à des processus tels que l'extraction, la classification et l'indexation, ces différents types de ressources numériques sont transformés en données de base structurées et en métadonnées. En outre, en appliquant des méthodes telles que la modélisation sémantique, l'annotation associative et l'intégration, il est possible d'obtenir un encodage fin et un lien entre les origines des entités conceptuelles, des unités de connaissance et des gènes culturels contenus dans les ressources numériques du patrimoine culturel. Avec l'aide de technologies telles que les graphes de connaissances et la blockchain, des collections de ressources de données intelligentes crédibles, multimodales, sémantiquement riches, traçables et réutilisables sont construites. En fin de compte, cela achève la transformation du patrimoine culturel axée sur les données.

Le processus de conversion des artefacts physiques en données intelligentes nécessite un large éventail d'équipements et de technologies. L'équipement du laboratoire est incroyablement diversifié et comprend non seulement des appareils photo et des caméscopes ordinaires, mais aussi des dispositifs spécialisés tels que des équipements de reconnaissance optique de caractères pour les livres anciens, des caméras de profondeur, des scanners laser, des scanners multispectraux, des bras mécaniques à six axes, des drones à basse altitude et des drones équipés de caméras infrarouges.

Outre l'utilisation des technologies et équipements existants, l'équipe de recherche se consacre à la réalisation de nouvelles innovations technologiques. Huang Xianfeng, directeur adjoint du laboratoire, a développé de manière indépendante un logiciel de modélisation de scènes réelles en 3D à très grande échelle appelé "GET3D Cluster". Ce logiciel permet de relever efficacement les défis techniques liés au traitement de gros volumes de données et à la lenteur du rendu lors de la construction de modèles de scènes réelles en 3D. Il offre des capacités de reconstruction sémantique en 3D de haute qualité, efficaces et intelligentes, brisant ainsi le monopole de longue date des logiciels étrangers, tels que ContextCapture, dans le domaine de la modélisation de scènes réelles. Avec le lancement du satellite Luojia 3-01, le logiciel permet une modélisation rapide et précise des grands paysages urbains et des sites du patrimoine culturel dans le monde entier à l'aide de données satellitaires.

Revitaliser le patrimoine culturel

Le cluster GET3D a déjà été utilisé avec succès lors d'événements nationaux majeurs tels que les Jeux olympiques d'hiver de Pékin et l'Universiade de Chengdu. Il a également été utilisé pour la construction de bases numériques 3D dans le cadre de la préservation de la Grande Muraille et dans plus d'une centaine de villes. Prenons l'exemple de la grande muraille de Jiankou, dans la banlieue de Pékin, qui est située sur une falaise périlleuse à plus de 1 000 mètres au-dessus du niveau de la mer. En raison de l'érosion et des dégâts, certaines sections des remparts, des tours de balisage et des escaliers ont un besoin urgent de protection et de restauration. L'équipe a utilisé des caméras et une technologie photogrammétrique qu'elle a elle-même développées pour capturer plus de 15 000 images multi-angles et a procédé à une reconstruction 3D en temps réel de la section du mur. Des prises de vue supplémentaires au sol ont permis de réaliser des gros plans d'une précision millimétrique, présentant des détails infiniment petits de briques manquantes, de fissures dans les murs et d'autres formes de dommages.

Une fois la modélisation 3D achevée, le modèle a permis une présentation agrandie et détaillée des dommages de surface. Grâce à une série de traitements en cascade de données multiformes à l'aide de réseaux et de modèles d'apprentissage profond, ils ont pu détecter les sections endommagées et les défauts structurels de la grande muraille de Jiankou, surveiller et identifier les fissures et les briques manquantes, et générer les formes et les murs de briques en 3D correspondants. Cela permet un travail de restauration plus rapide, plus efficace et plus précis.

Pour résoudre les problèmes de texture et de désalignement des modèles, l'équipe de Huang a développé un logiciel professionnel appelé "Model Painter" qui fournit une solution tout-en-un pour le mappage de la texture des modèles 3D. Ce logiciel permet d'obtenir un mappage précis d'images bidimensionnelles en modèles géométriques tridimensionnels. Actuellement, cette technologie a été mise en œuvre dans de nombreux musées et institutions culturelles, dont le Musée national de Chine et le Musée du Palais, pour divers projets numériques.

Zhang Fan, professeur au laboratoire, a dirigé le développement d'une technologie permettant d'améliorer le contenu et la qualité du patrimoine culturel numérique. Cette technologie permet de tripler la résolution des images bidimensionnelles de faible qualité, d'améliorer de 20 % la précision de la reconstruction des modèles tridimensionnels et de tripler la résolution des informations de texture dans les modèles tridimensionnels de faible qualité. Cette avancée permet d'assurer l'amélioration continue de la qualité des données pour le patrimoine culturel numérique, en améliorant la perception spatio-temporelle numérique des entités du patrimoine culturel. La technologie de Zhang a déjà été mise en œuvre aux grottes de Yungang.