Ayuda Qué tono tiene
sentimiento · emociones · discurso de odio, con un modelo (pysentimiento)
¿Qué tono tiene?
Pegás un texto y tres modelos entrenados con tuits en español dicen si suena positivo, neutro o negativo, qué emoción carga y si tiene discurso de odio — cada número explicado. Al lado, lo que dicen dos diccionarios sobre el mismo texto.
01 — Cómo se hace
El texto que pegás se lo damos a tres modelos distintos, todos corriendo en una máquina nuestra. Cada uno fue entrenado con millones de tuits en español que personas etiquetaron a mano: uno aprendió a separar positivo de neutro y negativo, otro a reconocer seis emociones, y el tercero a marcar discurso de odio.
Ninguno de los tres «entiende» el texto. Lo que hacen es calcular, para cada etiqueta posible, un número entre 0 y 100: cuánto se parece esto a lo que en el entrenamiento estaba marcado así. Por eso el número es seguridad del modelo, no cantidad de emoción: «negativo 98» no significa que el texto sea dos veces más negativo que uno de 49, significa que el modelo duda menos.
En sentimiento y en emoción las etiquetas compiten entre sí y los números suman 100: gana una. En odio no: son tres preguntas independientes —¿hay odio?, ¿es contra alguien en particular?, ¿es agresivo?— y cada una tiene su propio número.
Al lado corremos los dos diccionarios sobre el mismo texto. Un diccionario es una lista de palabras con un puntaje: «agresión» resta, «festejo» suma; se suman los puntajes de las palabras que aparecen y listo. No mira la frase ni el orden. Están los dos para que veas lo mismo medido con dos instrumentos que no se ponen de acuerdo.
02 — El límite
El modelo aprendió de tuits: textos cortos, informales, con emojis. Con una nota larga y formal mira apenas el arranque y rinde peor. Y ni el modelo ni los diccionarios entienden la ironía: «bárbaro, otra vez sin agua» es positivo para los dos.
03 — De dónde viene
Nada de esto lo inventamos nosotros. Estos son los trabajos que fundaron cada técnica, y qué aportó cada uno.
Qué tono tiene
-
Pérez, J. M., Giudici, J. C. & Luque, F. (2021). «pysentimiento: A Python Toolkit for Sentiment Analysis and SocialNLP tasks». arXiv:2106.09462. ↗
La herramienta que usamos: los tres modelos en español (sentimiento, emociones, odio) ajustados sobre tuits, y cómo se midieron.
Sentimiento
-
Stone, P. J., Dunphy, D. C., Smith, M. S. & Ogilvie, D. M. (1966). The General Inquirer: A Computer Approach to Content Analysis. Cambridge (MA): MIT Press. ↗
El primer programa que clasificó textos con diccionarios de palabras (positivas, negativas…) en una computadora. El método del tono por diccionario tiene sesenta años.
-
Pang, B. & Lee, L. (2008). «Opinion Mining and Sentiment Analysis». Foundations and Trends in Information Retrieval, 2(1–2), 1–135. ↗
El repaso que definió el campo «análisis de sentimiento» y ordenó sus métodos y sus problemas: la negación, la ironía, el dominio.
-
Taboada, M., Brooke, J., Tofiloski, M., Voll, K. & Stede, M. (2011). «Lexicon-Based Methods for Sentiment Analysis». Computational Linguistics, 37(2), 267–307. ↗
Mostró que un diccionario de palabras con puntaje funciona en cualquier tema sin entrenar nada — y que sin reglas para el «no» se equivoca seguido.
-
Nielsen, F. Å. (2011). «A new ANEW: Evaluation of a word list for sentiment analysis in microblogs». Proceedings of the ESWC2011 Workshop on Making Sense of Microposts, 93–98. ↗
Creó la lista AFINN: palabras con puntaje de −5 a +5 pensadas para textos cortos. Es el segundo diccionario de la pantalla, traducido al español.
-
van Atteveldt, W., van der Velden, M. A. C. G. & Boukes, M. (2021). «The Validity of Sentiment Analysis: Comparing Manual Annotation, Crowd-Coding, Dictionary Approaches, and Machine Learning Algorithms». Communication Methods and Measures, 15(2), 121–140. ↗
Con noticias de verdad, los diccionarios de sentimiento salieron peor que una persona en todas las pruebas. Por eso acá son un indicio, nunca un veredicto.
04 — Probalo