Transformers y ChatGPT: lo bueno, lo malo y lo feo

Título: Transformers y ChatGPT: lo bueno, lo malo y lo feo 

Fecha: 31/5 11hs

Expositores: 

Dr. Marcelo Luis Errecalde (Universidad Nacional de San Luis, Universidad Nacional de la Patagonia Austral)

Lic. Horacio Thompson (UNSL,  becario de CONICET)

Enlace del meet

Resumen: Los modelos de lenguaje basados en la arquitectura Transformer han revolucionado el Procesamiento del Lenguaje Natural  en los últimos 5 años y su impacto también comienza a observarse en otras áreas como la visión por computadora y la biología computacional. El ejemplo más conocido por su impacto en los medios de comunicación y por su uso masivo por millones de personas en pocas semanas, es la familia de modelos generativos desarrollados por OpenAI como ChatGPT y GPT-4. Si bien la interacción con estos modelos es sencilla en general, su aplicación en nuestras prácticas de investigación requiere conocer detalles mínimos de su arquitectura, su pre-entrenamiento y su adaptación a los distintos dominios de aplicación. Esta disertación da un puntapié inicial en ese sentido mostrando las principales características y mecanismos de la arquitectura Transformers en general y de ChatGPT en particular, describiendo las principales líneas de investigación en el área, limitaciones y desafíos a resolver y algunos aspectos prácticos a tener en cuenta surgidos de estudios recientes propios con modelos basados en Transformers.