El Daedalus Lab (Murcia Center for Cognition, Communication, and Creativity) de la Universidad de Murcia va a contratar a un analista de datos o especialista en informática, con conocimientos avanzados de R y de estadística (tanto descriptiva como inductiva), para colaborar en la elaboración de modelos estadísticos complejos y de análisis de big data de comunicación multimodal, dentro del proyecto MULTIFLOW: Modelling the multimodal flow of human communication with big data (resumen del proyecto abajo), dirigido por el profesor Cristóbal Pagán Cánovas (http://sites.google.com/site/cristobalpagancanovas/).
El equipo del Daedalus Lab forma parte del Red Hen Lab (https://www.redhenlab.org/), un consorcio internacional que construye grandes recursos digitales para el estudio de la comunicación humana. En Daedalus analizamos especialmente la expresión gestual y la entonación que acompaña a palabras y frases concretas. Combinamos visión computacional (OpenPose), procesamiento de audio (PRAAT) y anotación manual. Utilizamos GAM para modelar las variaciones no lineales de variables respuesta como el movimiento de las articulaciones que participan en el gesto o las oscilaciones en la entonación e intensidad con que se pronuncian las palabras. Para el modelado estadístico colaboramos con el Departamento de Lingüística Cuantitativa de la Universidad de Tubinga, en Alemania (Prof. Harald Baayen).
Nuestros resultados iniciales sugieren que significados concretos de palabras o frases podrían tener sus propios perfiles de lenguaje corporal y de entonación, con variaciones predecibles según las circunstancias de la comunicación. Esto implica una revisión de la relación entre forma y significado, y por tanto de gran parte de las bases de la lingüística y de la inteligencia artificial relacionada con la comunicación. Con el proyecto MULTIFLOW estamos construyendo los primeros modelos sistemáticos de estas oscilaciones, que parecen estar correladas incluso con mínimos matices de significación. La persona contratada contribuirá decisivamente a acelerar el descubrimiento de estas improntas estadísticas, que las intenciones comunicativas parecen dejar en el gesto y la acústica del habla.
Buscamos a una persona que disfrute trabajando en equipo y que domine los aspectos de R más relevantes para nuestra investigación: modelos aditivos generalizados (GAM) y sus versiones recientes (sobre todo el paquete mgcv y el trabajo de Simon Wood) y modelos similares que utilicen smooths y splines, modelos mixtos de regresión, paquetes para el procesamiento de datos en formato JSON y XML, preparación de datos en formatos diversos para su análisis en R (incluido web scraping y similares), paquetes relevantes de visualización y presentación de datos (ggplot2, rmarkdown, shiny y similares), manejo de diversas estructuras de datos (vectores, factores, data frames, listas…), optimización de bases de datos diversas para análisis en R, gestión de servidores (contamos con un nuevo servidor propio con considerable capacidad de procesamiento y almacenamiento).
No se requiere una titulación concreta ni cualificación profesional específica. El nivel de inglés necesario es el intermedio imprescindible para comprensión oral y escrita. Un nivel de inglés más avanzado será muy bienvenido. No son necesarios conocimientos de lingüística o comunicación ni experiencia previa con datos de humanidades. Se trata de una oportunidad interesante para estudiantes que deseen iniciarse en la colaboración en investigación, pero no se requiere ningún perfil académico ni profesional en particular. Cualquier formación que implique curiosidad científica y dominio de R y estadística es adecuada. Las oportunidades son diversas: desde simplemente programar en R y prestar servicios de asesoramiento estadístico hasta realizar investigación propia, que puede llevar a publicaciones relevantes en coautoría o a desarrollar un proyecto de grado, pre o post doctoral, así como múltiples oportunidades de networking con nuestra red de universidades y empresas colaboradoras en la UE y EEUU. Nuestros investigadores jóvenes disfrutan de becas Fulbright y de la Fundación Séneca de la Región de Murcia, y nuestros seniors dirigen proyectos nacionales e internacionales y han ganado Ayudas Ramón y Cajal, Marie Curie, Humboldt o Leonardo FBBVA, entre otras.
La actividad comenzará lo antes posible y se extenderá como mínimo hasta finales de 2021, con posibilidad de ampliación hasta finales de 2022 (está asegurada la financiación mediante proyectos del Ministerio de Ciencia y Universidades). Ofrecemos un contrato C1 (salario bruto mensual a tiempo completo de 37,5 horas/semana: 1731,80 €) con dedicación en principio parcial, negociable y flexible, adaptable a la situación de la persona seleccionada y compatible con estudios u otras actividades académicas o profesionales. También existe la posibilidad de acogerse a la modalidad de obra y servicio, en el caso de un autónomo que emita factura por los servicios realizados. Si estás cerca de la Universidad de Murcia, encantados, pero tu localización geográfica no es relevante: estamos acostumbrados a trabajar en red desde distintos puntos del planeta. Sí necesitarás cumplir con los requisitos para poder ser contratado por o facturar a una universidad española.
Contacto: Cristóbal Pagán Cánovas (cpcanovas@um.es).
Resumen del proyecto:
MULTIFLOW: Modelling the multimodal flow of human communication with big data
MULTIFLOW will investigate whether gesture, prosody, and their co-occurring language predict one another over time. Do words and phrases have their own profiles of bodily motion, pitch, and intensity of sound? We can now detect detailed correlations in big data that suggest that this may be so. These multimodal signatures co-occurring with verbal patterns question the long-held view that meaning resides in discrete units that abstract away the complexity of the communicative flow. Instead, semantic distinctions could emerge from the subtle interplay of body and voice in the continuity of communicative interaction.
How extended are these multimodal signatures? Do they form systems that assist in discriminating across meanings? What are the principles that allow gesture and prosody to form signatures? What role does temporal (dis)alignment play in their formation? And what can multimodal signatures tell us about the way we think and communicate?
The MULTIFLOW interdisciplinary team, with experts on language, gesture, prosody, computing, and modelling, will analyse large video datasets with multiple equivalent utterances of time, space, and quantity/quality expressions in English and Spanish, using an innovative workflow that integrates automatic and manual annotation tools. Thanks to recent improvements of statistical methods such as generalized additive models, we will predict detailed gesture trajectories and small oscillations of pitch and intensity as a function of meaning and of one another over time, isolating semantic variables from the effects of usage and context. Our results may change the way we see communication, from a succession of discrete units to continuous, nuanced action. From chunks to flow.