Attention Is All You Need - Vaswani et al. (Google)

El documento presenta el Transformer, una innovadora arquitectura de red neuronal diseñada para tareas de procesamiento de lenguaje natural que elimina por completo las recurrentes y convolucionales. Su innovación principal radica en basarse exclusivamente en mecanismos de atención y autoatención, lo que permite un procesamiento altamente paralelizable y una reducción drástica en el tiempo de entrenamiento. Los experimentos demuestran que este enfoque establece un nuevo nivel de excelencia en traducción automática y se adapta con éxito a otras aplicaciones complejas como el análisis sintáctico.