De qué se habló
modelado de temas (LDA) · tokens · lemas · matriz
Los temas de la semana o del mes encontrados por LDA, el método clásico de modelado de temas: cada tema es una lista de palabras con peso y cada nota una mezcla de temas. La máquina agrupa; el nombre de cada tema lo ponés vos leyendo la lista.
Sobre qué se buscan los temas
666 notas · 5 diarios · 258.131 palabras
01 — Lo que sale
8 temas encontrados en 666 notas. Cada tema es una lista de palabras con peso; el nombre no lo pone la máquina, lo ponés vos leyéndola. El número es cuántas notas tienen ese tema como el principal.
02 — Cómo se hace
Del texto a la matriz, en tres pasos
Sobre una nota sola —Cáncer de mama: vuelve la “caminata rosa” de Batán y harán mamografías en CAPS—, para ver la máquina por dentro. El LDA no lee texto: lee una tabla de números, y esto es cómo se llega a ella.
1 · Cortar en fichas y quedarse con las que cargan sentido
Se tiran los signos, los números y las palabras vacías («de», «que», «los»), y se conservan sólo sustantivos, nombres propios y adjetivos. Cada ficha lleva su clase.
marco sust. mes sust. concientización sust. cáncer sust. mama sust. Municipio nombre Secretaría nombre Salud nombre cronograma sust. acciones sust. tendientes adj. visibilización sust. divulgación sust. información sust. enfermedad sust. principal adj. causa sust. muerte sust. cáncer sust. mujeres sust. Argentina nombre edición sust. Caminata nombre Rosa nombre acciones sust. previstas adj. fecha sust. lugar sust. confirmados adj. mes sust. rosa sust. período sust. lazo sust. color- sust. prevención sust. rápida adj. atención sust. médica adj.
2 · Lematizar: cada palabra a su forma de diccionario
«reclamaron», «reclamo» y «reclamos» pasan a ser la misma ficha. Sin esto, la matriz las cuenta como tres cosas distintas.
marco mes concientización cáncer mama municipio secretaría salud cronograma acción tendient visibilización divulgación información enfermedad principal causa muerte cáncer mujer argentina edición caminata rosa acción previsto fecha lugar confirmado mes rosa período lazo color- prevención rápido atención médico
3 · La fila de esta nota en la matriz
Una fila por nota, una columna por lema, y en cada celda cuántas veces aparece. Con 666 notas y 4.831 lemas, la tabla completa tiene 3.217.446 celdas, casi todas en cero. Eso es lo que lee el LDA.
| mes | cáncer | acción | rosa | marco | concientización | mama | municipio | secretaría | salud | cronograma | tendient | … |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 2 | 2 | 2 | 2 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 0 |
Qué se pierde acá: el orden de las palabras y el sentido de la frase. Para la matriz, «el municipio demandó a la empresa» y «la empresa demandó al municipio» son la misma fila.
03 — La receta
Con qué se calculó, para que cualquiera lo repita
No hay perilla acá: los temas se calculan de madrugada con estos parámetros fijos. Cambiarlos cambia los temas — ésa es la decisión metodológica.
| Método | LDA — Latent Dirichlet Allocation (scikit-learn) |
| Cuántos temas (k) | 8 — elegido a mano; el LDA no sabe cuántos hay |
| Pasadas | 15 |
| Vocabulario | palabras en al menos 2 notas y en no más del 50 % de ellas; sólo sustantivos, nombres propios, adjetivos, lematizados con es_core_news_md |
| Semilla | 0 — el LDA arranca al azar; con la misma semilla sale lo mismo |
04 — El límite
¿Qué es De qué se habló? — ver más
Cada nota se corta en fichas, se lematiza (cada palabra a su forma de diccionario) y se dejan sólo sustantivos, nombres propios y adjetivos. Con eso se arma la matriz: una fila por nota, una columna por lema, cuántas veces aparece. El LDA busca k grupos de palabras que suelen aparecer juntas y reparte cada nota entre ellos. Se calcula de madrugada en el servicio Python; la pantalla sólo lo lee.
Latent Dirichlet Allocation (Blei, Ng & Jordan 2003): modelo generativo donde cada documento es una mezcla de temas y cada tema una distribución sobre el vocabulario. Bag-of-words: pierde el orden. k se fija a mano.
Leer la explicación completa: cómo se hace paso a paso, y los trabajos que fundaron la técnica →
Con una cuenta gratis cargás tus textos, los etiquetás, corrés estos mismos análisis sobre ellos y publicás lo que encontraste. Cuando publicás tu primera investigación, sos investigador del HLab.
Crear mi cuenta → Ver un caso completo: El Marquesado