Ayuda Cómo lo dice cada diario

palabras distintivas (TF-IDF) · comparación de fuentes · tono · legibilidad

¿Cómo lo dice cada diario?

Un mismo hecho no se cuenta igual en todos lados. Acá se ve dónde se separan los diarios: qué palabras usan todos, cuáles usa casi solo uno, con qué tono, y —plegado al final— cuál escribe más difícil.

01 — Cómo se hace

Para cada diario contamos sus palabras (igual que en «Qué palabras se repiten»). Después, a cada palabra le damos un peso: suma por cada vez que ese diario la usa, y pierde según cuántos de los otros diarios también la usen. «Gobierno» la usan los cinco: se apaga. «Clínica» la usa casi solo uno: se enciende. Lo que queda arriba es el sello de cada diario en ese período.

Mirá lo que sale antes de sacar conclusiones. En un mes real aparecen «quini», «telekino» y «sorteo» en uno, «sinopsis» y «subtitulado» en otro, y en un tercero su propia firma repetida al pie de cada nota. Eso no es su manera de contar: es qué secciones publica y qué texto fijo le mete a cada página. Lo que distingue a un diario, casi siempre, es primero su agenda y recién después su vocabulario.

El tono sale de dos diccionarios, no de uno. Cada diccionario es una lista de palabras con un puntaje: «agresión» resta, «festejo» suma. Sumamos los puntajes de todas las palabras de cada diario y llevamos el total a una escala de 0 a 100 donde 50 es neutro. Lo hacemos con dos listas distintas —la propia y AFINN en español— y mostramos las dos: cuando no coinciden, es la prueba de que el diccionario es una decisión, no una medición.

La hostilidad es aparte: cuenta palabras de agresión (insultos, amenazas, descalificaciones) por cada mil palabras. Las de violencia como hecho («homicidio», «disparo») se muestran pero no suman: si sumaran, toda nota policial daría «muy hostil».

La legibilidad, plegada al final, mide solo el largo de las palabras y de las oraciones con la fórmula de Fernández Huerta. No mide si está bien escrito.

02 — El límite

El contraste es de vocabulario, no de postura: dos diarios pueden usar la misma palabra con sentido opuesto. Lo que más distingue a un diario suele ser su agenda de secciones —los sorteos, la cartelera, el club del que habla— antes que su forma de contar. Y el tono sale de contar palabras contra un diccionario, que no entiende negación ni ironía («no está nada mal» lo lee negativo). Es un indicio del clima, no un veredicto.

«No hubo heridos» y «hubo heridos» suman los mismos puntos en los dos diccionarios: ninguno entiende el «no». Y una nota policial bien escrita siempre va a dar negativo. Por eso el tono de una sola nota no vale nada; sirve para comparar diarios o épocas, nunca para juzgar una nota.

03 — De dónde viene

Nada de esto lo inventamos nosotros. Estos son los trabajos que fundaron cada técnica, y qué aportó cada uno.

TF-IDF

  1. Spärck Jones, K. (1972). «A statistical interpretation of term specificity and its application in retrieval». Journal of Documentation, 28(1), 11–21. ↗

    Una palabra vale más cuanto en menos documentos aparece. Es la mitad «rareza» de la cuenta: la que apaga «gobierno» y enciende lo que casi solo un diario dice.

  2. Salton, G. & Buckley, C. (1988). «Term-weighting approaches in automatic text retrieval». Information Processing & Management, 24(5), 513–523. ↗

    Probó con experimentos que combinar «cuántas veces aparece acá» con «en cuántos documentos aparece» es el peso que mejor funciona. Es la fórmula que usamos.

Sentimiento

  1. Stone, P. J., Dunphy, D. C., Smith, M. S. & Ogilvie, D. M. (1966). The General Inquirer: A Computer Approach to Content Analysis. Cambridge (MA): MIT Press. ↗

    El primer programa que clasificó textos con diccionarios de palabras (positivas, negativas…) en una computadora. El método del tono por diccionario tiene sesenta años.

  2. Pang, B. & Lee, L. (2008). «Opinion Mining and Sentiment Analysis». Foundations and Trends in Information Retrieval, 2(1–2), 1–135. ↗

    El repaso que definió el campo «análisis de sentimiento» y ordenó sus métodos y sus problemas: la negación, la ironía, el dominio.

  3. Taboada, M., Brooke, J., Tofiloski, M., Voll, K. & Stede, M. (2011). «Lexicon-Based Methods for Sentiment Analysis». Computational Linguistics, 37(2), 267–307. ↗

    Mostró que un diccionario de palabras con puntaje funciona en cualquier tema sin entrenar nada — y que sin reglas para el «no» se equivoca seguido.

  4. Nielsen, F. Å. (2011). «A new ANEW: Evaluation of a word list for sentiment analysis in microblogs». Proceedings of the ESWC2011 Workshop on Making Sense of Microposts, 93–98. ↗

    Creó la lista AFINN: palabras con puntaje de −5 a +5 pensadas para textos cortos. Es el segundo diccionario de la pantalla, traducido al español.

  5. van Atteveldt, W., van der Velden, M. A. C. G. & Boukes, M. (2021). «The Validity of Sentiment Analysis: Comparing Manual Annotation, Crowd-Coding, Dictionary Approaches, and Machine Learning Algorithms». Communication Methods and Measures, 15(2), 121–140. ↗

    Con noticias de verdad, los diccionarios de sentimiento salieron peor que una persona en todas las pruebas. Por eso acá son un indicio, nunca un veredicto.

Índice de hostilidad

  1. Lasswell, H. D. & Leites, N. (1949). Language of Politics: Studies in Quantitative Semantics. Nueva York: George W. Stewart. ↗

    La idea de contar palabras cargadas para detectar propaganda y tono en la prensa tiene setenta años: nació en el análisis de los discursos de la guerra.

  2. Osgood, C. E., Saporta, S. & Nunnally, J. C. (1956). «Evaluative Assertion Analysis». Litera, 3, 47–102. ↗

    Partir cada oración en «quién dice qué de quién» y darle un puntaje a cada afirmación. Es lo que este índice NO hace —cuenta palabras sueltas—, y por eso es más tosco.

  3. Davidson, T., Warmsley, D., Macy, M. & Weber, I. (2017). «Automated Hate Speech Detection and the Problem of Offensive Language». ICWSM, 11(1), 512–515. ↗

    Mostró que «lenguaje ofensivo» y «discurso de odio» no son lo mismo y que los detectores por palabras los confunden. Por eso acá se llama hostilidad y no odio.

  4. Basile, V. et al. (2019). «SemEval-2019 Task 5: Multilingual Detection of Hate Speech Against Immigrants and Women in Twitter». Proceedings of SemEval-2019, 54–63. ↗

    La primera competencia con textos en español etiquetados como odio o no odio, que fijó cómo se evalúa eso. Un punto de comparación para cualquier diccionario en castellano.

Legibilidad

  1. Flesch, R. (1948). «A new readability yardstick». Journal of Applied Psychology, 32(3), 221–233. ↗

    La fórmula original: qué tan fácil es leer un texto a partir del largo de las oraciones y de las palabras. Nada más que eso mide.

  2. Fernández Huerta, J. (1959). «Medidas sencillas de lecturabilidad». Consigna, 214, 29–32. ↗

    Adaptó la fórmula de Flesch al español, cambiando los pesos porque nuestras palabras son más largas. Es el índice que usa la pantalla.

04 — Probalo

Ir a «Cómo lo dice cada diario» → La pantalla que hace esto, sobre los diarios de hoy o un texto tuyo. Y después: ¿De qué se habló? De qué se habló