| EN|ES|IT|IS|CY

LAS BUENAS PRÁCTICAS DE DIGIMUSE ENTER


Face-fit

Descripción

Objetivos:
  1. Mejorar el compromiso del museo a través de la gamificación
    Anima a los visitantes a interactuar con las obras de arte de una manera divertida e inmersiva. También utiliza desafíos de combinación de poses para despertar la curiosidad y profundizar el conocimiento sobre el arte.
  2. Promover la educación artística de una manera interactiva
    Proporciona información contextual sobre las obras de arte a medida que los usuarios coinciden con las poses.
  3. Garantizar la accesibilidad y la inclusión
    Ofrezca diferentes modos de desafío, incluidas las poses solo para el torso para usuarios de sillas de ruedas.
  4. Facilitar el intercambio social y el compromiso digital
    Permite a los usuarios generar y compartir videos de su participación y crea una extensión digital de la experiencia del museo a través de las redes sociales.
  5. Apoyo a la personalización y reutilización del museo
    Permite a los museos reemplazar las obras de arte predeterminadas con sus colecciones.
  6. Adoptar un enfoque BYOD consciente de la privacidad
    Asegura que no se registren datos personales, alineándose con las mejores prácticas de privacidad.
  7. Proporcionar una fácil configuración e implementación para las instituciones
    Utiliza Docker para una instalación de backend simplificada y permite a los museos administrar las interacciones a través de un panel de administración.
Grupo destinatario:
  • Jóvenes y estudiantes
  • Visitantes de museos
  • Entusiastas de la tecnología y la gamificación
     

Info

Nombre de la organización: Centro de Integración y Comunicación de Medios (MICC)
Italia Italia
Actividad:
Investigación avanzada en los campos de la visión por computadora, tecnologías multimedia aplicadas a entornos inteligentes, interacción natural, aplicaciones basadas en Internet e inteligencia colectiva.
Fuentes de financiación:

El proyecto ha recibido financiación del programa de investigación e innovación Horizonte 2020 de la Unión Europea en virtud del acuerdo de subvención n.o 101004545.

Contacto

marco.bertini@unifi.it
Enlace a la iniciativa:

Fortalezas

  • Interfaz fácil de usar – Fácil adopción por museos y visitantes
  • Bajos costes de puesta en marcha: la tecnología de código abierto elimina las tasas de concesión de licencias
  • Requisitos mínimos de hardware: funciona en dispositivos de gama media, lo que reduce los costes de infraestructura
  • Compatibilidad con BYOD: los visitantes pueden utilizar sus propios teléfonos inteligentes, lo que reduce los costes de los museos
  • Participación ampliada: aumenta la interacción de los visitantes, especialmente entre el público más joven
  • Personalización: los museos pueden adaptar el contenido y los retos a sus colecciones y necesidades
  • IA respetuosa con la privacidad: el tratamiento por parte del cliente garantiza la privacidad y el cumplimiento del RGPD
     

Debilidades

Los sistemas de visión artificial y el reconocimiento de expresiones son uno de los puntos focales del debate ético sobre la inteligencia artificial y, como era de esperar, representan una de las tecnologías más vigiladas dentro de la nueva Ley de IA de la Unión Europea. Por lo tanto, es esencial que el museo, tanto ética como legalmente, aclare que no se implementa una política de reconocimiento automático de identidad ni ningún registro de los rasgos físicos del usuario. La aplicación debe cubrir una amplia gama de rasgos físicos. Finalmente, dado que este tipo de aplicación utiliza imágenes de obras de arte, es importante que el museo administre adecuadamente los derechos de uso y uso compartido, ya sea que las obras pertenezcan al museo u otros museos. En línea con estas consideraciones éticas, las aplicaciones desarrolladas en el proyecto ReInHerit se basan en 'Tarjetas de Ética ReInHerit' específicas, desarrolladas por los socios del Consorcio para abordar diversas cuestiones, como la correcta formación de la inteligencia artificial, la protección de datos de los usuarios y el respeto de los derechos de las imágenes de las obras de arte utilizadas. (20190317_museos-y-ai-toolkit_rl_web_ita_v2-1.pdf)
 

Soluciones Digitales

 

  1. AI y visión computarizada para emparejamiento de expresión facial
    • Red de predicción de malla facial: Detecta 468 puntos clave 3D para un análisis preciso de la postura facial
    • Arquitectura de MobileNetV2: Garantiza el reconocimiento facial en tiempo real, incluso en dispositivos móviles de gama media
    • TensorFlowJS (Móvil) & TensorFlow (Escritorio): Utilizado para el seguimiento facial basado en IA y el análisis de expresión
  2. Procesamiento híbrido en la nube para la optimización del rendimiento
    • Computación de bordes: La mayoría de los cálculos se ejecutan directamente en el dispositivo del usuario para reducir la latencia
    • Procesamiento del lado del servidor: Tareas avanzadas como la corrección de color y la transferencia de estilo utilizan APIs OpenCV en un backend de Python
  3. Compatibilidad multiplataforma
    • Frontend JavaScript basado en web: Garantiza la accesibilidad a través de navegadores en dispositivos móviles.
    • Versión de escritorio de Python: Optimizado para instalaciones de museos con OpenCV y TensorFlow
  4. Gamificación & Interfaz de usuario interactiva
    • Superposición de imagen fantasma: Guía a los usuarios para que combinen sus expresiones con obras de arte
    • Navegación vertical del carrusel: Permite a los usuarios navegar y seleccionar retratos
    • Sistema de emparejamiento progresivo: Los usuarios deben alinear la postura de la cabeza primero, luego coincidir con detalles más finos (ojos, cejas, boca)
  5. Infraestructura digital centrada en la privacidad
    • Sin almacenamiento de datos personales: Los datos de correo electrónico se eliminan después de enviar imágenes
    • Todos los análisis faciales se ejecutan en el lado del cliente: Garantizar el cumplimiento de las políticas de privacidad
  6. Personalización de contenido digital & Integración de museos
    • Panel de administración: Permite a los museos gestionar colecciones de obras de arte y desafíos
    • Despliegue basado en Docker: Simplifica la instalación de backend para facilitar la adopción del museo
  7. Características de participación digital de Social Media &
    • Generación automatizada de imágenes: Los usuarios reciben transformaciones de arte personalizadas
    • Compartir al instante a través de correo electrónico & Redes sociales: Fomentar la interacción digital más allá de la visita al museo

Impactos positivos demostrables

La aplicación Face-fit ganó un premio a la Mejor Mención Honorífica de Demostración en ACM Multimedia 2022, la conferencia más importante sobre multimedia.

Habilidades & conocimientos necesarios

  1. Habilidades técnicas
    • Desarrollo web 
    • AI y Machine Learning 
    • Gestión de bases de datos 
    • Personalización e implementación de aplicaciones 
  2. Habilidades de Gestión de Proyectos
    • Planificación & Coordinación 
    • Presupuestación & Asignación de recursos 
    • Gestión de riesgos 
  3. Habilidades interpersonales
    • Comunicación & Colaboración 
    • Mentalidad centrada en el cliente 
    • Participación de las partes interesadas 
  4. Experiencia específica del dominio
    • Conocimiento del Patrimonio Cultural 
    • Gamificación & Participación del usuario 
    • Legal & Conocimiento ético 
  5. Actitudes
    • Apertura a la innovación 
    • Adaptabilidad 
    • Compromiso con la Sostenibilidad 

Principios y métodos innovadores transferibles

Face-Fit: Personalización de retratos impulsada por IA

Face-Fit es una aplicación web basada en IA que permite a los usuarios replicar la pose y la expresión de retratos históricos, transfiriendo su rostro a obras de arte famosas. Esto genera una imagen personalizada que se puede descargar y compartir en las redes sociales. La aplicación promueve un enfoque centrado en el usuario y gamificado, transformando las visitas tradicionales a los museos en experiencias interactivas.

  • Características principales: 
    • Utiliza IA para adaptar y personalizar pinturas, en particular retratos
    Alienta a los visitantes a imitar expresiones faciales y poses
    • Proporciona información de obras de arte por correo electrónico y permite compartir en las redes sociales
    • Construido con JavaScript (front-end) y Python (back-end) usando Kivy para la personalización de la interfaz de usuario

Los principios y métodos innovadores transferibles de Face-fit incluyen:

  1. Gamificación para el Compromiso Cultural
  2. Combinación de expresiones faciales impulsada por IA
    • El uso de una red de predicción de malla facial para realizar un seguimiento de 468 puntos 3D para un reconocimiento preciso de la expresión y garantizar el análisis de posturas en tiempo real con MobileNetV2, lo que permite un rendimiento sin problemas incluso en dispositivos móviles de gama media
  3. Procesamiento híbrido de IA en la nube
    • Realizar la mayor cantidad de computación posible en los dispositivos del usuario (computación de borde) para reducir la carga del servidor y mejorar la privacidad
    • Descarga de tareas complejas (por ejemplo, corrección de color y adaptación de estilo) a una API de Python OpenCV del lado del servidor cuando sea necesario
  4. Diseño adaptable multiplataforma
  5. Privacidad-Primero manejo de datos
    • Evitar la recopilación o el almacenamiento de datos personales, garantizando el cumplimiento de GDPR y regulaciones similares
  6. Personalización dinámica de contenido para museos 
    • Permitir que los museos sustituyan las obras de arte y definan sus propios desafíos y proporcionar un panel de administración del museo para la gestión de contenido y una mayor participación del usuario
  7. Diseño innovador de UX para una interacción intuitiva
    • Usar una superposición de imagen fantasma para guiar a los usuarios a replicar expresiones faciales de manera efectiva
    • Eliminar las señales visuales que distraen para mantener el enfoque en la obra de arte

Metodología

Face-Fit es una aplicación web gamificada impulsada por IA diseñada para mejorar el compromiso del museo al permitir a los usuarios imitar las expresiones faciales y las poses de obras de arte históricas. La metodología combina:

  • Desafíos de coincidencia de posturas guiados por IA para personalizar la interacción del visitante.
  • Principios de gamificación que convierten a los visitantes en participantes activos en lugar de observadores pasivos.
  • Arquitectura híbrida de borde de nube que realiza la coincidencia de expresiones faciales en los dispositivos de los usuarios mientras descarga tareas complejas a un servidor remoto.
  • Personalización por parte de los museos, que pueden cargar sus propias colecciones y definir desafíos utilizando un panel de administración.
  • Diseño de interacción inclusivo, como opciones de solo torso para usuarios de sillas de ruedas.
  • Enfoque basado en la privacidad, evitando el almacenamiento de datos personales o la identificación biométrica.

Los visitantes se involucran usando sus propios dispositivos (BYOD), lo que minimiza los costos de hardware del museo y extiende la experiencia a través de imágenes de estilo de obras de arte descargables y compartibles.
 

Recursos necesarios y costes de puesta en marcha

Recursos básicos:

  • front-end basado en web (JavaScript) y backend (Python con Docker) – código abierto, personalizable.
  • Marcos de IA como TensorFlowJS (del lado del cliente) y OpenCV (del lado del servidor), gratuitos y ampliamente utilizados.
  • Servidor o alojamiento en la nube para tareas de backend (corrección de color, tratamiento de datos) – ~ 10– 50 EUR/mes.
  • Formación básica del personal del museo para el tablero de administración: mínima una vez instalado.
  • Smartphones o tabletas: los usuarios traen los suyos (modelo BYOD).
  • Opcional: Quioscos de pantalla táctil o tabletas para uso público: ~ 300 €-1 000 € cada uno.

Coste de puesta en marcha estimado:

  • Si el modelo BYOD: ~ 500– 2 000 EUR (principalmente para la configuración y el despliegue del backend).
  • Si el hardware proporcionado por el museo: ~3.000€–5.000€+, dependiendo del número de dispositivos
     

Posible solución de bajo coste

El diseño de Face-Fit es intrínsecamente rentable, pero aquí hay otras opciones simplificadas para las instituciones pequeñas o locales:

  • Utilice solo BYOD: Evite las configuraciones de quioscos: los visitantes utilizan sus propios teléfonos inteligentes con un enlace de código QR a la aplicación.
  • Ejecute un plan de alojamiento compartido o una plataforma en la nube de nivel gratuito (por ejemplo, Heroku, Render o Replit).
  • Aproveche los modelos de IA gratuitos y los componentes preentrenados (Face Mesh, MobileNetV2 a través de TensorFlowJS).
  • Personalice el contenido utilizando solo obras de arte propiedad del museo sin licencias de imágenes externas.
  • Ofrezca el intercambio social a través de enlaces de imagen descargables sin integración de correo electrónico, simplificando los requisitos de backend.

Ejecución estimada a bajo coste:

  • 500 EUR, especialmente si aloja en un nivel de nube gratuito y utiliza herramientas y plantillas de código abierto.

Este enfoque conserva la experiencia interactiva y gamificada mientras permanece accesible para pequeños museos, escuelas u organizaciones de patrimonio basadas en la comunidad.
 

ENLACES ÚTILES / OTRAS REFERENCIAS

https://www.reinherit.eu/
Involucrar a los visitantes del museo con el seminario web de aplicaciones de gamificación #ReInHerit #MakeItYourOwn #Webinars 
ucarecdn.com/16b8d9c7-ad55-4c7f-bddc-b8f61e88678d/ 
https://reinherit-hub.eu/tools/apps 
https://reinherit-hub.eu/resources 
20190317_museos-y-ai-toolkit_rl_web_ita_v2-1.pdf
 

Chat

DIGIMUSE Assistant