A continuación, veremos el inicio de lo que son las "redes neuronales de aprendizaje profundo para el procesamiento de lenguaje natural", que lo veremos representado a través de los "Transformers", ¿qué son los transformers? un modelo derivado del Seq2seq, que se utiliza para traducción y generación de texto. El Seq2Seq trabaja con un codificador y un decodificador. El codificador toma la secuencia de entrada y lo mapea en un espacio multidimensional. El "transformer" le agrega al modelo Seq2Seq, una etapa que es la atención. Esta atención analiza la entrada del modelo y determina cuál es el sector de la oración más importante y de esta forma se le indica al decodificador en qué parte enfocarse. A continuación, veremos un ejemplo basado en un entrenamiento heredado. Bien, ¿qué es el entrenamiento heredado? Como habíamos dicho, son modelos de entrenamiento de cuerpos de documentos muy grandes que otras personas, otras empresas han entrenado y lo ponen a disposición de la comunidad para que lo podamos utilizar libremente y ver las distintas posibilidades y hacer un "fine tuning", llegado el momento, si nosotros queremos, con respecto a ese conjunto de documentos. Para esto vamos a trabajar los de la librería "transformers", que vemos la URL de dónde se puede obtener, el conjunto de documentos pre-entrenados. Acá tenemos un conjunto de modelos oficiales, que el mismo equipo que ha desarrollado la librería pone a nuestra disposición y también han dejado que, en el mismo lugar, la comunidad vaya tomando, agregando documentos, en este caso vamos a tomar lo desarrollado por la comunidad para el idioma español, pero en primera instancia vamos a trabajar con el modelo más básico en inglés. Bien, para esto vamos a trabajar con un modelo de preguntas y respuestas. Como le daríamos un conjunto de texto, el modelo tendría que procesarlo y después hacerle alguna pregunta a este texto que le hemos pasado y el modelo automáticamente nos tendría que dar la respuesta. Bueno, acá en primera instancia el método estándar de modelos de preguntas y respuesta que está hecho para el idioma inglés. Acá lo que estamos haciendo, el "pipeline", diciendo "quiero que hagamos un modelo de preguntas y respuestas". Una vez que le seteamos que vamos a trabajar con preguntas y respuestas, le vamos a pasar dos parámetros. El primer parámetro es el contexto, es decir, el conjunto, el texto al cual queremos analizar y segundo, la pregunta que queremos hacerle al texto que vemos en el contexto. Esta es la forma particular de pasárselo. Fíjense que es muy pequeño, pero lo que nosotros nos bajamos fue ya el entrenamiento. La primera vez que implementemos esto va a tardar un poco más porque va a bajar el modelo pre-entrenado, donde tiene el contexto de cada una de las palabras para poder resolver el problema en cuestión. Una vez que ejecutamos esto, esto queda en la variable RES, lo pusimos nosotros y preguntamos a ver cómo es la respuesta a esto y vemos que la respuesta es bastante acertada, que nos dio sobre qué tópico era lo que estábamos viendo en el texto, sobre procesamiento de lenguaje natural y sobre cómo manejar esto. Bien. Y con un grado de certeza. Bárbaro. Pero también, al mismo texto le podríamos preguntar, ¿qué? Cuál es el nombre del curso y nos da también el nombre del curso, cuál es, lo que nos está diciendo en "end" y en el "start" es donde empieza dentro del destino original el texto que nos está devolviendo, y el score es el grado de certeza que tiene de lo que nos está devolviendo. Fíjense que acá tenemos una primera aproximación para los sistema de preguntas y respuestas y anda bastante bien. Ahora lo vamos a pasar el mismo ejemplo, pero lo vamos a pasar en español. Acá tenemos la URL de donde se ha tomado este modelo de preguntas y respuestas y donde tenemos el miembro de la comunidad, que ha sumado este modelo de entrenamiento en español. Para nosotros, llegado esto es exactamente lo mismo, cuando nosotros ya tenemos el modelo abajo en español, lo que vamos a hacer es hacerle una pregunta y una respuesta. Acá hacemos el pipeline, preguntas y respuestas, especificamos el modelo para que lo baje, la primera vez va a tardar un poco más porque lo va a bajar, generamos la tokenizacón que tiene para el modelo a preguntas y respuestas, y en este caso hicimos el "use fast" "true" para que nos responda rápidamente y no haga un análisis tan exhaustivo. Pero fíjense que tanto sea el inglés o el español, la forma de invocar es exactamente lo mismo, lo que estoy haciendo es pasándole un texto y haciendo una pregunta y vemos cómo nos responde. Y hemos hecho otro ejemplo y también vemos cómo nos responde. Podemos hacer preguntas similares con el mismo contexto y nos da respuestas bastante similares, quiere decir que esta andando muy bien esto. Y por último, ¿cómo se llama el curso? Y nos da la respuesta a cómo se llama el curso. Ven, esto es una forma de trabajar con sistemas de preguntas y respuestas y modelos de "transformers", que es lo que vemos como la introducción a las redes de aprendizaje profundo específicas para procesamiento de lenguaje natural. Con esto damos por finalizada la práctica presente. Muchas gracias.
