Más de la multimodalidad

Como se destacó en publicaciones anteriores, se puede definir la comunicación multimodal como aquella comunicación en la que intervienen modos humanos, como por ejemplo: la voz o el habla, los gestos, los ojos, los movimientos, etc. El objetivo de la comunicación multimodal es hacer más natural la interacción hombre máquina. En la actualidad, la comunicación multimodal es un campo en el cual se está investigando y se ha convertido en una nueva frontera para las comunicaciones. La dificultad reside en cómo adaptar todos estos datos e información de manera que una interfaz electrónica los pueda interpretar y permita interactuar al hombre con las computadoras mediante estas convenciones.

De hecho, en sentido amplio multimodalidad puede implicar la suma de “modos de comunicación”, puesto que los gestos, las señas, los sonidos, la suma de expresiones y actos de habla pueden ser considerados como tales. Pero tal como pasa con “interfaz”, para los efectos de la comunicación multimodal se debe buscar un concepto que si bien no sea estrictamente informático, esté anclado al digitalismo y se aplique en este campo.
En ese sentido señala Joaquim Llisterri que las computadoras deben manejar diferentes formas de interacción para que sus relaciones con los usuarios sean más fluidas y menos asimétricas. En la “Multimodalidad asimétrica” normalmente se considera el gesto, el habla y las expresiones faciales en la salida del sistema. En la “Multimodalidad simétrica” se considera el habla, el gesto y las expresiones faciales no sólo en la entrada del sistema (usuario), sino también en la salida (sistema). Para lograr ésta última, destaca la aplicación de los siguientes componentes:

Transcripción ortográfica.
       La transcripción ortográfica de corpus orales
Transcripción fonética segmental.
       La representación fonética segmental de corpus orales
Transcripción prosódica.
       La representación fonética suprasegmental de corpus orales

Anotación lingüística.
Anotación pragmática.
Anotación de expresiones faciales.
Anotación de gestos.
Anotación de emociones.

Estos componentes contribuyen entonces a que la interrelación máquina hombre sea un diálogo multimodal, y que fomente la creación de recursos para el análisis de la interacción funcional; que haya estandarización en la anotación de diálogos y anotación de fenómenos que aparecen en el discurso. Para que esta comunicación sea efectiva deben darse entonces propuestas de esquemas de codificación de las expresiones faciales y de los gestos y propuestas para anotar información prosódica relacionada con la información gestual.

A su vez el usuario a través de la interacción multimodal puede determinar el modo o modos de interacción que quiere utilizar para acceder a la información, lo que extiende y mejora la interfaz del usuario, ya que se hace posible la utilización conjunta de la voz y otros tipos de dispositivos de introducción de datos como teclados, ratones, lápices digitales o pantallas táctiles. Aunque esta forma de interacción conjunta está especialmente dirigida a las aplicaciones móviles, que incorporan controles por voz y disponen de pantallas de dimensiones reducidas, también está pensado para otros sectores como la automoción (navegadores integrados, pantallas táctiles), la oficina (pantallas digitales de las fotocopiadoras), o los electrodomésticos más avanzados que ofrecen múltiples opciones interactivas.

Como se puede ver, hay diferentes aproximaciones a la comunicación multimodal, pero generalmente se relacionan con la explicación y análisis de las conexiones aplicables al ser humano y su interacción con los sistemas informáticos. Y éste es un campo en el que aún hay mucho por desarrollar.