De qué se habló
modelado de temas (LDA) · tokens · lemas · matriz
Los temas de la semana o del mes encontrados por LDA, el método clásico de modelado de temas: cada tema es una lista de palabras con peso y cada nota una mezcla de temas. La máquina agrupa; el nombre de cada tema lo ponés vos leyendo la lista.
Sobre qué se buscan los temas
780 notas · 5 diarios · 292.364 palabras
01 — Lo que sale
8 temas encontrados en 780 notas. Cada tema es una lista de palabras con peso; el nombre no lo pone la máquina, lo ponés vos leyéndola. El número es cuántas notas tienen ese tema como el principal.
02 — Cómo se hace
Del texto a la matriz, en tres pasos
Sobre una nota sola —Dolor en la comunidad educativa por el fallecimiento de un reconocido psicólogo—, para ver la máquina por dentro. El LDA no lee texto: lee una tabla de números, y esto es cómo se llega a ella.
1 · Cortar en fichas y quedarse con las que cargan sentido
Se tiran los signos, los números y las palabras vacías («de», «que», «los»), y se conservan sólo sustantivos, nombres propios y adjetivos. Cada ficha lleva su clase.
comunidad sust. académica adj. profesional adj. campo sust. salud sust. mental adj. Argentina nombre profundo adj. dolor sust. Adelqui nombre psicólogo sust. docente adj. figura sust. central adj. construcción sust. modelo sust. atención sust. basado adj. dignidad sust. derechos sust. fundamentales adj. reconocido adj. trayectoria sust. defensa sust. libertades sust. individuales adj. transformación sust. sistema sust. sanitario adj. huella sust. imborrable adj. aulas sust. congresos sust. espacios sust. militancia sust. generaciones sust. profesionales sust. carrera sust. rol sust. clave sust.
2 · Lematizar: cada palabra a su forma de diccionario
«reclamaron», «reclamo» y «reclamos» pasan a ser la misma ficha. Sin esto, la matriz las cuenta como tres cosas distintas.
comunidad académico profesional campo salud mental argentina profundo dolor adelqui psicólogo docente figura central construcción modelo atención basado dignidad derecho fundamental reconocido trayectoria defensa libertad individual transformación sistema sanitario huella imborrable aula congreso espacio militancia generación profesional carrera rol clave
3 · La fila de esta nota en la matriz
Una fila por nota, una columna por lema, y en cada celda cuántas veces aparece. Con 780 notas y 5.323 lemas, la tabla completa tiene 4.151.940 celdas, casi todas en cero. Eso es lo que lee el LDA.
| profesional | comunidad | académico | campo | salud | mental | argentina | profundo | dolor | adelqui | psicólogo | docente | … |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 2 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 0 |
Qué se pierde acá: el orden de las palabras y el sentido de la frase. Para la matriz, «el municipio demandó a la empresa» y «la empresa demandó al municipio» son la misma fila.
03 — La receta
Con qué se calculó, para que cualquiera lo repita
No hay perilla acá: los temas se calculan de madrugada con estos parámetros fijos. Cambiarlos cambia los temas — ésa es la decisión metodológica.
| Método | LDA — Latent Dirichlet Allocation (scikit-learn) |
| Cuántos temas (k) | 8 — elegido a mano; el LDA no sabe cuántos hay |
| Pasadas | 15 |
| Vocabulario | palabras en al menos 2 notas y en no más del 50 % de ellas; sólo sustantivos, nombres propios, adjetivos, lematizados con es_core_news_md |
| Semilla | 0 — el LDA arranca al azar; con la misma semilla sale lo mismo |
04 — El límite
¿Qué es De qué se habló? — ver más
Cada nota se corta en fichas, se lematiza (cada palabra a su forma de diccionario) y se dejan sólo sustantivos, nombres propios y adjetivos. Con eso se arma la matriz: una fila por nota, una columna por lema, cuántas veces aparece. El LDA busca k grupos de palabras que suelen aparecer juntas y reparte cada nota entre ellos. Se calcula de madrugada en el servicio Python; la pantalla sólo lo lee.
Latent Dirichlet Allocation (Blei, Ng & Jordan 2003): modelo generativo donde cada documento es una mezcla de temas y cada tema una distribución sobre el vocabulario. Bag-of-words: pierde el orden. k se fija a mano.
Leer la explicación completa: cómo se hace paso a paso, y los trabajos que fundaron la técnica →
Con una cuenta gratis cargás tus textos, los etiquetás, corrés estos mismos análisis sobre ellos y publicás lo que encontraste. Cuando publicás tu primera investigación, sos investigador del HLab.
Crear mi cuenta → Ver un caso completo: El Marquesado