La creatividad y la necesidad de comunicar gran cantidad de información en espacios reducidos favorecen la elección semiótica de mapas, fotos y esquemas, y menos del sistema verbal

Enrique Boudon y Giovanni Parodi
«Artefactos multisemióticos y discurso académico de la Economía: construcción de conocimientos en el género Manual»
Signos, vol. 47, n.º 85 (agosto de 2014).

Revista Signos. Estudios de Lingüística | Pontificia Universidad Católica de Valparaíso | Santiago de Chile | CHILE.

Se incluye a continuación un extracto de las páginas 166 a 170 del artículo en PDF. Véanse las referencias en la publicación original.

Artículo disponible también en las plataformas ResearchGate y SciELO, de la que enlazamos las versiones HTML y PDF.
No disponible en el sitio de la revista, ya que el archivo de números publicados no incluye del 1 al 93.

Multisemiosis, texto escrito y artefactos multisemióticos

Si bien podemos detectar preocupación por determinar los antecedentes históricos que dieron origen a la perspectiva multimodal del lenguaje –Kaltenbacher califica un ensayo de Lessing como «el primer abordaje al estudio de la multimodalidad»–, existe cierto consenso en la literatura especializada en que la inclusión del concepto “multimodalidad” en los debates lingüísticos es un fenómeno relativamente reciente, impulsado, en gran medida, por los trabajos de Kress y van Leeuwen y O’Toole.

Desde este marco y motivados por explorar cómo se construye significado en modalidades semióticas distintas al lenguaje verbal, algunos investigadores indagan en la semiótica de las imágenes, con una marcada influencia de la Lingüística Sistémica Funcional. O’Toole, por ejemplo, adaptó las tres metafunciones del lenguaje a la semiótica del arte para analizar, principalmente, esculturas, pinturas y obras arquitectónicas. Así, «campo», «tenor» y «modo», que dan cuenta de los significados ideacional, interpersonal y textual de la modalidad verbal, respectivamente, dan lugar a la «función representacional», la «función modal» y la «función composicional»; funciones que operacionalizan dichos significados en el sistema semiótico gráfico. Siguiendo esta misma línea, pero interesados en explorar la semiótica de las imágenes (gráficos, mapas, fotografías, dibujos, etc.), Kress y Van Leeuwen proponen un análisis a partir de las categorías teóricas «patrones de representación» (significado ideacional), «patrones de interacción» (significado interpersonal) y «principios de composición» (cómo están organizadas las imágenes, según su jerarquía informativa, contextual, etc.).

Ahora bien, dado que en la bibliografía abundan estudios que aportan detalladas investigaciones en esta línea, así como también completos estados del arte, no es nuestro propósito efectuar aquí una revisión bibliográfica exhaustiva ni reconstruir una historia acerca de la multimodalidad. Por el contrario, se han seleccionado algunas investigaciones actuales, de modo de establecer una mirada panorámica de los nuevos desafíos en el campo. De modo específico, revisamos tres estudios recientes, a saber, Taboada y Habel, Hiippala y Parodi.

Taboada y Habel han aplicado la Teoría Retórica Estructural (RST, por su sigla en inglés) para describir las relaciones retóricas que se establecen entre distintos artefactos multimodales –como el gráfico y la imagen– y su co-texto verbal en textos escritos. Así, a partir de un corpus «moderado», según declaran los autores, compuesto por más de 1500 páginas y por cerca de 600 artefactos, entre los que se cuentan fotos, gráficos y tablas, estos investigadores identifican siete relaciones retóricas: elaboración, habilitación, evidencia, motivación, preparación, reexpresión y resumen. Sin embargo, la aplicación de un marco teórico pensado para describir las relaciones retóricas en textos concebidos desde una perspectiva lingüística tradicional –o monomodal, en términos de Kress y Van Leeuwen– al análisis de las relaciones entre los sistemas verbal y gráfico visual ha abierto un abanico de problemas y desafíos relacionados con dos aspectos principales.

Por un lado, la RST puede ver menguado su potencial explicativo dada la desestabilización de la idea que entiende el sistema semiótico verbal con un rango jerárquico superior en la construcción de significado; hoy es sabido que la preponderancia de un sistema semiótico por sobre otro varía según las características de los géneros discursivos, razón por la cual podrían emerger nuevas relaciones a partir del estudio más en detalle de otros sistemas semióticos. Por otro lado, la inclusión de nuevas unidades de análisis ha mostrado que un artefacto multisemiótico puede tener múltiples relaciones retóricas posibles con un segmento co-textual –en algunos casos, con más de uno–. En este sentido, las relaciones entre las imágenes y los segmentos verbales pueden ser diversas y de distinto orden.

Por su parte, con un enfoque que presta mayor atención a la diagramación y disposición de artefactos multimodales dentro del género, Hiippala explora los folletos de turismo con el objetivo de describir lo que llama «interfaz entre retórica y diagramación» (rethoric-layout interface). Esta interfaz está orientada a mostrar que la organización del contenido verbal y visual dentro de un diseño y la señalización de sus interrelaciones implica elecciones semióticas que se afectan mutuamente. Con estas intenciones y con la base teórica desarrollada por Bateman, Delin y Henschel y su modelo GeM (Genre and Multimodality), el autor compara tres folletos turísticos de la ciudad de Helsinki de diferentes años.

El análisis comparativo indicó que, en cuanto a las relaciones retóricas, no había mayor variación, sino que la diferencia estaba enfatizada en el uso y disposición de los recursos multimodales. Más acentuada es la diferenciación con el folleto más actual, dada la amplia gama de posibilidades que brinda el desarrollo del campo del diseño visual computacional. En este sentido, la creatividad y la necesidad de encontrar maneras de comunicar gran cantidad de información en espacios reducidos permiten que los productores realicen elecciones semióticas en favor de privilegiar el uso de mapas, fotos, esquemas, y de brindar menos espacio al sistema verbal.

Tanto en Taboada y Habel como en Hiippala se reconoce la naturaleza multisemiótica de los textos; sin embargo, ninguno plantea una definición operacional de artefacto ni tampoco se refiere a cómo los identificaron ni a cuáles son sus características. Taboada y Habel, por ejemplo, identifican fotografías, figuras y tablas, pero no queda suficientemente claro cómo los definen ni cuáles son los sistemas semióticos que en ellos operan. Incluso, insisten en la idea de que estos artefactos constituyen recursos que acompañan al texto, poniendo de manifiesto una concepción un tanto difusa de texto escrito. Hiippala, por su parte, presenta una idea de artefacto multimodal que, a nuestro juicio, puede llegar a ser ambigua, ya que considera al folleto turístico un artefacto multimodal. En nuestra concepción, el folleto de este tipo sería un género discursivo compuesto, entre otros, por diversos artefactos multisemióticos y no un artefacto en sí mismo.

Ahora bien, en el contexto de un proyecto mayor que buscó caracterizar los géneros discursivos que vehiculan el conocimiento dentro del discurso académico, Parodi pone su interés en los artefactos multisemióticos, su composición y definición. En esta línea, se propone describir los artefactos a partir de un corpus de 1043 textos, los cuales fueron recolectados desde los programas de las asignaturas de seis doctorados en dos universidades chilenas. Con el fin de sistematizar la identificación y descripción de los artefactos, el análisis se realizó a partir de tres criterios fundamentales: modalidad, función y composición. La aplicación de estos criterios entregó como resultado la identificación y descripción de nueve artefactos multisemióticos.

Al mismo tiempo, un avance sustantivo de este estudio lo constituye la propuesta de definiciones operativas orientadas por cuatro sistemas semióticos, los cuales participan de la construcción de los artefactos, por los objetivos funcionales que despliegan y por sus elementos constitutivos. Es relevante destacar que este estudio es uno de los pioneros en determinar qué es un artefacto multisemiótico y, más decididamente, cuáles son los que circulan dentro de ciertos discursos académicos específicos.

Esta breve panorámica a partir de tres estudios recientes que abordan la multimodalidad intenta mostrar la creciente atención que otorga la comunidad lingüística al estatus multisemiótico inherente a todo texto. Muy por el contrario a lo que sucedía hace un par de décadas atrás, hoy parece poco sensato insistir en que los textos construyen significados solo a partir del sistema verbal y que los recursos provenientes de otros sistemas (tales como gestos, volumen de voz, etc.) solo apoyan la comunicación oral. Este hecho, sin lugar a dudas, resulta fundamental para el concepto de texto, dado que asumir sus rasgos multisemióticos no constituye un mero cambio de atención de lo mono a lo multimodal, sino que exige: «el reconocimiento de la naturaleza completamente multimodal de todo texto».

En este sentido, se detecta un cambio sustancial en el modo de concebir los textos; hecho que conduce entonces a una reconfiguración disciplinar a nivel epistemológico acerca de lo que entendemos por «texto» y, por consiguiente, del modo en que se aborda su estudio. En definitiva, el texto escrito, en cuanto potencial de significado, no está constituido solo por palabras, sino que son diversos los sistemas semióticos que se hacen parte de su construcción.

Al respecto, Matthiessen plantea muy acertadamente que los sistemas semióticos son sistemas capaces de transportar y crear significado dentro de un contexto determinado; además, el contexto establece los patrones que determinan la coordinación de estos sistemas. De modo que, para crear significados de manera sinérgica, los diversos sistemas semióticos son integrados funcionalmente dentro del contexto. Desde esta perspectiva y siguiendo a Parodi, partimos de la base de que –al menos– existen cuatro sistemas semióticos que potencialmente pueden interactuar para construir significado en un texto: el sistema verbal, el sistema gráfico, el sistema matemático y el sistema tipográfico. Estamos conscientes de que no necesariamente todos los sistemas se incorporan en la constitución de un artefacto y que algunos pueden –incluso– tener roles más concomitantes o satelitales en la construcción de significado, tal como adecuadamente han puesto de manifiesto tanto Stöckl como Kaltenbacher. No obstante ello, para la presente investigación son estos cuatro sistemas los que interactúan sinérgicamente y se integran funcionalmente en los textos escritos estáticos, pudiendo evidentemente existir otros sistemas de los cuales aquí no damos cuenta como, por ejemplo, el sistema del color.

Desde esta perspectiva, entendemos que un artefacto multisemiótico es una unidad textual que, en el proceso de construcción de significado, participa de los mecanismos de cohesión y coherencia del texto escrito del cual es parte y que se compone de, al menos, dos o más sistemas o modos semióticos. En este sentido, un artefacto, según los estudios basados en corpus de discurso académico a través de un conjunto de disciplinas, se elabora por una comunidad de especialistas para comunicar significados contextualizados en géneros determinados. Los artefactos así identificados han mostrado un grado de variación a través de las disciplinas, hecho que muestra la cosmología de cada comunidad disciplinar. Determinar los límites entre un sistema constitutivo y otro en la conformación de un artefacto constituye una desafío tanto teórico como metodológico, así como la identificación de todos los sistemas semióticos que posibilitan la construcción de artefactos.