Desafíos para el desarrollo de evaluaciones justas de la salud, la educación y la conducta basadas en el lenguaje

Constructive Advanced Thinking (CAT) programme | Network of European Institutes for Advanced Study

PI: Damián Blasi
CoInvs: Joseph P. Dexter, Amber Gayle Thalmayer, Adolfo M. García

El comportamiento lingüístico representa un recurso confiable, económico y cada vez más automatizado para evaluar diferentes aspectos de los individuos y las sociedades, los cuales van desde la educación hasta la salud y la conducta. Las muestras de habla podrían ayudar a detectar problemas de salud incipientes; los corpus de periódicos se utilizan para identificar estereotipos y sesgos sociales implícitos; y las listas de palabras son la base para determinar el desarrollo verbal. Sin embargo, estos y otros acontecimientos relevantes (los cuales llamamos evaluaciones basadas en el lenguaje o LanBA, por sus siglas en inglés) han sido elaborados, probados e implementados principalmente en solo un puñado de lenguas amplias y comercialmente centrales, con el inglés dominando la escena. Dado que las 6.500 lenguas existentes pueden variar y varían considerablemente (y en cada dimensión), transferir las LanBA desde el inglés a estos otros idiomas es algo que suele estar lleno de desafíos técnicos y lingüísticos importantes, lo cual no siempre es apreciado por los usuarios e investigadores. Las consecuencias de este sesgo, que recién estamos comenzando a comprender, es que los hablantes y signantes de lenguas minoritarias tienen a su disposición LanBA más costosas, menos eficientes, y potencialmente sesgadas. Una nueva fuente de inequidad mundial se avecina a través de múltiples escenarios sociales.

Nos proponemos abordar este complejo y multifacético problema reuniendo a un diverso grupo de expertos (que abarcan las neurociencias cognitivas, las humanidades digitales, la lingüística comparativa, las ciencias del desarrollo, y la psicología cultural) con tres vías principales de actividad. Primero, sintetizaremos críticamente la evidencia científica que revela el sesgo anglófono en las LanBA, con el objetivo de encontrar diferencias y coincidencias en los campos en los que ejercemos. Segundo, colaboraremos con legisladores, expertos en las tecnologías del lenguaje y otros agentes no académicos con el propósito de construir una línea de acción clara para convertir nuestros resultados en recomendaciones prácticas que puedan mejorar el estado actual del desarrollo de las LanBA. Tercero, interactuaremos con el público general a través de diferentes estrategias mediáticas, lo que incluye filmar un mini documental sobre el tema del grupo en las visitas a los diferentes IAS.

Challenges for the development of fair language-based assessments of health, education, behavior, and beyond

Constructive Advanced Thinking (CAT) programme | Network of European Institutes for Advanced Study

PI: Damián Blasi
CoInvs: Joseph P. Dexter, Amber Gayle Thalmayer, Adolfo M. García

Linguistic behavior serves as a reliable, inexpensive, and increasingly automated resource to assess different aspects of individuals and societies, ranging from education to health and behavior. Speech samples might help detect incipient health issues; newspaper corpora are used to identify stereotypes and implicit societal biases; and wordlists are the basis to determine verbal development. However, these and other relevant developments (which we label language- based assessments or LanBAs) have been concocted, tested, and deployed primarily on just a handful of large and commercially central languages, with English dominating the scene. Since the 6,500 extant languages can and do vary substantially (and in every dimension), transferring LanBAs from English to them is often fraught with important technical and linguistic challenges, which might not always be appreciated by users and researchers. The consequences of this bias, which we are only starting to understand, is that speakers and signers of minority languages have at their disposal more expensive, less efficient, and potentially biased LanBAs. A novel source of worldwide inequity looms large across multiple social arenas.

We propose to address this complex and multifaceted issue by gathering a diverse set of experts (covering cognitive neuroscience, digital humanities, comparative linguistics, developmental science, and cultural psychology) with three main tracks of activity. First, we will critically synthesize the scientific evidence revealing the Anglophone bias in LanBAs, aiming at finding differences and commonalities across our fields of practice. Second, we will engage policy-makers, experts on language technologies, and other non-academic agents with the purpose of building a clear course of action to transfer our findings into practical recommendations that can improve the current state of the art in the development of LanBAs. Third, we will engage with the general audience through diverse media strategies, including filming a mini-documentary on the topic of the group over the visits to the different IAS.