A Systems Theory of Multimodality
DOI:
https://doi.org/10.17345/ute.2018.2489Palabras clave:
multimodality, semiotic systems, communiative modes, design, learning.Resumen
This paper offers a tentative theory of how to approach the analysis of multimodal “texts” (using the word loosely for any integrated set of symbols that resemble written texts in communicative power). Much work on multimodality is new and many key issues are not yet broached, let alone settled. The theory I produce treats modes as semiotic systems (sets of social conventions about meaning) and multimodality as a system of systems. A theory in a new domain helps us understand what we take the “things” we are going analyze to be (our “ontology”). In turn, our choice of “things” determines the sorts of tools we will need for analysis and the sorts of questions we will ask, a number of which are delineated in this paper. The theory developed here is based on the correspondences between linguistic systems and non-linguistic modal systems. The paper closes with a discussion of the implications of the approach I propose for work on design and learning.
Descargas
Citas
Gee, J. P. (2004). Situational language and learning: A critique of traditional schooling. London: Routledge.
Gee, J. P. (2007). What video games have to teach us about learning and literacy. Second Edition. New York: Palgrave/Macmillan.
Gee, J. P. (2014a). An Introduction to discourse analysis: Theory and method. Fourth Edition. London: Routledge, 2014
Gee, J. P. (2014b). Unified Discourse Analysis: Language, Reality, Virtual Worlds, and Video Games. New York: Routledge, 2014
Gee, J. P. (2017a). Introducing discourse analysis: From grammar to society. London: Routledge.
Gee, J. P. (2017b). Teaching, learning, literacy in our high-risk high-tech world: A framework for becoming human. New York: Teachers College Press.
Halliday, M. A. K. (1978), Language as social semiotic: the social interpretation of language and meaning. London: Edward Arnold.
Halliday, M. A. K. (1985). Written and spoken language. Geelong, Victoria, Australia; Deakin University.
Halliday, M. A. K. (2013). Halliday’s introduction to functional grammar. Fourth Edition. Revised by Christian M.I.M. Matthiessen. New York: Routledge.
Halliday, M. A. K. & Greaves, W. S. (2004). Intonation in the grammar of English. London: Equinox.
Halliday< M. A. K. and Hasan, R. (1976). Cohesion in English. London: Longman.
Halliday, M. A. K. & Matthiessen, C. M. I. M. (1999). Construing experience through meaning: A language-based approach to cognition. New York: Continuum.
Jewitt, C. (ed.) (2009). The Routledge handbook of multimodal analysis. London: Routledge.
Jewitt, C. and Kress, G. (2003). Multimodal literacy. New York: P. Lang.
Kress, G. (2010). Multimodality: A social semiotic approach to contemporary communication. London: Routledge.
Kress, G. and Van Leeuwen, T. (1996). Reading images: The grammar of visual design. London: Routledge.
Kress, G. and Van Leeuwen, T. (2001). Multimodal discourse: The modes and media of contemporary communication. New York: Oxford University Press.
Napier, S. L. (2005). Anime from Akira to Howl’s Moving Castle, Updated Edition: Experiencing contemporary Japanese animation. New York: Palgrave/Macmillan.
Saussure, F. de (1986). Course in general linguistics. Chicago: Open Court. Originally published in French in 1916.
Descargas
Publicado
Cómo citar
Número
Sección
Licencia
Los / las autores/oras que publiquen en esta revista aceptan los términos siguientes:
- Los autores/oras conservan los derechos de autor y conceden en la revista el derecho de primera publicación de la obra, registrada bajo una licencia de reconocimiento de Creative Commons (CC BY-NC-SA), que permite que se haga difusión reconociendo la autoría y la primera publicación en esta revista.
- Los autores/oras pueden establecer, independientemente, otras disposiciones contractuales que permitan la publicación de la versión publicada en esta revista en otros medios (por ejemplo, en un repositorio institucional o en un libro), con el reconocimiento de la publicación inicial en esta revista.
- Los autores/oras tienen permiso para publicar su obra en línea y se les propone hacerlo (por ejemplo, en repositorios institucionales o en su página web) antes y durante el proceso de entrega, porque puede producir buenos resultados y hacer que la obra publicada reciba más citaciones (Ver The Effect of Open Access).
DECLARACIÓN DE PRIVACIDAD
Los nombres y las direcciones de correo electrónico que hay al sitio web de la revista solo se utilizarán para los usos indicados en esta revista y no estarán disponibles para ningún otro uso ni para terceras personas.
PROMOCIÓN Y DIFUSIÓN DEL ARTÍCULO
Los/las autores/se se comprometen a participar en la máxima difusión de su manuscrito una vez publicado, así como de toda la revista. Se comprometen también a participar activamente en las redes sociales de la revista en la fase preprint, como en la posterior a la edición final. Se tienen que promocionar los artículos utilizando el enlace de la web oficial ( https://revistes.urv.cat/index.php/ute/index ) junto con sus dois, para aumentar la lectura, citación e impacto.
