De qué se habló

modelado de temas (LDA) · tokens · lemas · matriz

Los temas de la semana o del mes encontrados por LDA, el método clásico de modelado de temas: cada tema es una lista de palabras con peso y cada nota una mezcla de temas. La máquina agrupa; el nombre de cada tema lo ponés vos leyendo la lista.

Sobre qué se buscan los temas

666 notas · 5 diarios · 258.131 palabras

01 — Lo que sale

8 temas encontrados en 666 notas. Cada tema es una lista de palabras con peso; el nombre no lo pone la máquina, lo ponés vos leyéndola. El número es cuántas notas tienen ese tema como el principal.

02 — Cómo se hace

Del texto a la matriz, en tres pasos

Sobre una nota sola —Cáncer de mama: vuelve la “caminata rosa” de Batán y harán mamografías en CAPS—, para ver la máquina por dentro. El LDA no lee texto: lee una tabla de números, y esto es cómo se llega a ella.

1 · Cortar en fichas y quedarse con las que cargan sentido

Se tiran los signos, los números y las palabras vacías («de», «que», «los»), y se conservan sólo sustantivos, nombres propios y adjetivos. Cada ficha lleva su clase.

marco sust. mes sust. concientización sust. cáncer sust. mama sust. Municipio nombre Secretaría nombre Salud nombre cronograma sust. acciones sust. tendientes adj. visibilización sust. divulgación sust. información sust. enfermedad sust. principal adj. causa sust. muerte sust. cáncer sust. mujeres sust. Argentina nombre edición sust. Caminata nombre Rosa nombre acciones sust. previstas adj. fecha sust. lugar sust. confirmados adj. mes sust. rosa sust. período sust. lazo sust. color- sust. prevención sust. rápida adj. atención sust. médica adj.

2 · Lematizar: cada palabra a su forma de diccionario

«reclamaron», «reclamo» y «reclamos» pasan a ser la misma ficha. Sin esto, la matriz las cuenta como tres cosas distintas.

marco mes concientización cáncer mama municipio secretaría salud cronograma acción tendient visibilización divulgación información enfermedad principal causa muerte cáncer mujer argentina edición caminata rosa acción previsto fecha lugar confirmado mes rosa período lazo color- prevención rápido atención médico

3 · La fila de esta nota en la matriz

Una fila por nota, una columna por lema, y en cada celda cuántas veces aparece. Con 666 notas y 4.831 lemas, la tabla completa tiene 3.217.446 celdas, casi todas en cero. Eso es lo que lee el LDA.

mescánceracciónrosamarcoconcientizaciónmamamunicipiosecretaríasaludcronogramatendient…
2222111111110

Qué se pierde acá: el orden de las palabras y el sentido de la frase. Para la matriz, «el municipio demandó a la empresa» y «la empresa demandó al municipio» son la misma fila.

03 — La receta

Con qué se calculó, para que cualquiera lo repita

No hay perilla acá: los temas se calculan de madrugada con estos parámetros fijos. Cambiarlos cambia los temas — ésa es la decisión metodológica.

MétodoLDA — Latent Dirichlet Allocation (scikit-learn)
Cuántos temas (k)8 — elegido a mano; el LDA no sabe cuántos hay
Pasadas15
Vocabulariopalabras en al menos 2 notas y en no más del 50 % de ellas; sólo sustantivos, nombres propios, adjetivos, lematizados con es_core_news_md
Semilla0 — el LDA arranca al azar; con la misma semilla sale lo mismo

04 — El límite

El LDA no sabe cuántos temas hay: k se elige a mano y cambiarlo cambia todo. Los temas no tienen nombre, son listas de palabras, y a veces mezclan dos asuntos o parten uno en dos. Pierde el orden de las palabras y el sentido de la frase. Sirve para orientarse en un período, no para afirmar que «se habló de X».
¿Qué es De qué se habló? — ver más

Cada nota se corta en fichas, se lematiza (cada palabra a su forma de diccionario) y se dejan sólo sustantivos, nombres propios y adjetivos. Con eso se arma la matriz: una fila por nota, una columna por lema, cuántas veces aparece. El LDA busca k grupos de palabras que suelen aparecer juntas y reparte cada nota entre ellos. Se calcula de madrugada en el servicio Python; la pantalla sólo lo lee.

Latent Dirichlet Allocation (Blei, Ng & Jordan 2003): modelo generativo donde cada documento es una mezcla de temas y cada tema una distribución sobre el vocabulario. Bag-of-words: pierde el orden. k se fija a mano.

Leer la explicación completa: cómo se hace paso a paso, y los trabajos que fundaron la técnica →

Todos investigamos algo.

Con una cuenta gratis cargás tus textos, los etiquetás, corrés estos mismos análisis sobre ellos y publicás lo que encontraste. Cuando publicás tu primera investigación, sos investigador del HLab.

Crear mi cuenta → Ver un caso completo: El Marquesado