Data Science politica

Hay algunos informáticos en el foro y algunas mentes curiosas. Que tal si en este tema usamos las bases de datos publicas para entender mejor la realidad socioeconomica del país y zanjar discusiones en base a evidencia?


EDIT: Se realizaron importantes modificaciones al post original.

En este primer post, partamos con algo simple, calculemos algunos estadísticos descriptivos de una base de datos de ingresos.


1)R es un paquete estadístico de código abierto, si no lo tienes, descargarlo e instalalo desde:
https://cloud.r-project.org/



2)Como ejemplo usemos la base de datos de la encuesta casen 2015
Descargamos el siguiente archivo y lo descomprimimos:
http://observatorio.ministeriodesar...tidimensional/casen/docs/casen_2015_stata.rar



3)Leer la base de datos
Ejecuamos R (el programa que instalaron en el primer paso), la interfaz grafica es una simple consola donde se ingresan comandos.
Para leer los datos importamos la librería "foreign":

Insertar CODE, HTML o PHP:

library(foreign)

Luego obtenemos el path de la base de datos casen, el siguiente comando abre el selector de archivos:

Insertar CODE, HTML o PHP:

file.choose()

Elegimos el archivo Casen 2015.dta que descomprimimos anteriormente y como resultado aparecerá el path completo del archivo en la consola de R.
Luego reemplazamos el "path" completo en el siguiente comando:

Insertar CODE, HTML o PHP:

cas15 <- read.dta("path")

Si funciona, los datos de la casen están en la variable cas15 listos para ser consultados



4)Estudiar la estructura de la base de datos
El siguiente comando lista las columnas de la casen, son 776 columnas:

Insertar CODE, HTML o PHP:

str(cas15, list.len=ncol(cas15))

La descripción de las columnas esta en el documento:
http://observatorio.ministeriodesar...al/casen/docs/Libro_de_Codigos_Casen_2015.pdf




5)Calculemos el ingreso de la actividad principal
La columna "yoprcor" representa el ingreso de la actividad principal. Sin embargo, para calcular totales regionales o a nivel de país debemos ponderarlo por el factor de expansión "expr". El factor de expansión indica a cuanta población representa cada observación de la encuesta, este factor hace la encuesta realmente representativa.

La media nacional, sin ponderar por factor de expansión, es 432071.2:

Insertar CODE, HTML o PHP:

mean(cas15$yoprcor, na.rm=TRUE)

La media nacional ponderada por factor de expansión es 461916.1:

Insertar CODE, HTML o PHP:

weighted.mean(cas15$yoprcor, cas15$expr, na.rm=True)

La diferencia es considerable. Por lo tanto, de aquí en adelante siempre usaremos el factor de expansión.

Ahora calculemos los deciles de ingreso:
Para esto debemos instalar la libreria "Hmisc" con el siguiente comando:

Insertar CODE, HTML o PHP:

install.packages("Hmisc")

Las librerias se instalan una sola vez y quedan guardadas en el computador, pero cada vez que queramos usarlas debemos importarlas:

Insertar CODE, HTML o PHP:

library("Hmisc")

Ahora podemos usar la funcion wtd.quantile() para calcular los deciles de ingresos:

Insertar CODE, HTML o PHP:

wtd.quantile(cas15$yoprcor, p = seq(0, 1, length = 11), na.rm = FALSE, weight=cas15$expr)

El resultado es:

Insertar CODE, HTML o PHP:

      0%      10%      20%      30%      40%      50%      60%      70%      80%      90%     100%
     500   125000   200000   241000   257194   300000   350000   450000   600000   879778 30000000

el p50 es la mediana: $300.000




como andamos con los cálculos de la fundación hoyo negro?
http://www.fundacionsol.cl/wp-content/uploads/2017/04/Salarios-al-Límite.pdf

Llegamos exactamente al mismo resultado en la mediana y el p70
En la media hay una pequeña diferencia $461.916 vs $461.951.







Script completo (reemplazar el path al archivo de la base de datos):

Spoiler

¡Debes iniciar sesión para ver el Spoiler!

 

Continuando con el ejemplo anterior, calcularemos la media de ingresos filtrando por región y tipo de actividad.

Primero filtramos la base de datos "cas15" dejando solo las filas de la región de tarapaca y asignamos el resultado a la variable reg01. Luego calculamos la media sobre esta base de datos filtrada (resultado 544792.3):

Insertar CODE, HTML o PHP:

reg01 <- cas15[cas15$region == "región de tarapacá",]
weighted.mean(reg01$yoprcor, reg01$expr, na.rm=TRUE)

Para filtrar por tipo de actividad es similar, la variable o15 contiene los cogidos de tipo de actividad.

Insertar CODE, HTML o PHP:

#Empleador
emp <- cas15[cas15$o15 == "patrón o empleador",]
weighted.mean(emp$yoprcor, emp$expr, na.rm=TRUE)

Como vamos comparado con la Fundacion Hoyo Negro? Casi idénticos, aunque persisten algunas leves diferencias y seria interesan saber por que. De todas forma, todo indica que tenemos un instrumento solido para seguir explorando los datos.

Tarapaca
Nosotros: $544.792
Hoyo negro: $544.792

Antofagasta
Nosotros: $586.828
Hoyo negro: $586.828

Metropolitana
Nosotros: $533.533
Hoyo negro: $533.573


Empleador
Nosotros: $967.825
Hoyo negro: $967.965

Cuenta propia
Nosotros: $336.291
Hoyo negro: $336.290

Asalariado privado
Nosotros: $460.473
Hoyo negro:$460.527




Script completo (reemplazar el path a la base de datos):

Spoiler

¡Debes iniciar sesión para ver el Spoiler!

 

Hay un IDE gratuito para R que es mucho mejor que la consola. Descargar desde:
https://www.rstudio.com/products/rstudio/download/

 

Tiempo atrás hubo una controversia acerca de las diferencias de sueldos entre los trabajadores del sector publico y privado.
Algunos foristas argumentaron que los sueldos públicos solo eran mas altos en los cargos directivos y eso aumentaba el promedio, pero no eran mas altos en puestos de menos calificación. Veamos que evidencia aporta la encuesta CASEN.


Calculemos la media y los deciles de ingresos de los trabajadores asalariados públicos. En la Casen, la categoría de trabajadores públicos esta dividida en dos tipos: empleado de empresa publicas y empleado del sector publico.

Insertar CODE, HTML o PHP:

apub <- cas15[!is.na(cas15$o15) & (cas15$o15 == "empleado u obrero de empresas públicas" | cas15$o15 == "empleado u obrero del sector público (gobierno central o municipal)"),]
mean_pub <- weighted.mean(apub$yoprcor, apub$expr, na.rm=TRUE)
quan_pub <- wtd.quantile(apub$yoprcor, p = seq(0, 1, length = 11), na.rm = TRUE, weight=apub$expr)

De la misma forma calculamos la media y deciles de los asalariados del sector privado.

Insertar CODE, HTML o PHP:

apriv <- cas15[!is.na(cas15$o15) & cas15$o15 == "empleado u obrero del sector privado",]
mean_priv <- weighted.mean(apriv$yoprcor, apriv$expr, na.rm=TRUE)
quan_priv <- wtd.quantile(apriv$yoprcor, p = seq(0, 1, length = 11), na.rm = TRUE, weight=apriv$expr)

Resultados

Los trabajadores públicos ganan 35% mas en promedio que los privados
Media públicos: $622.722
Media privados: $460.473


Los trabajadores públicos ganan mas en todos los deciles de ingresos excepto en el mas alto. Lo que invalida el argumento esgrimido anteriormente. Si debo notar que la diferencia es un poco menor en los deciles mas bajos, aunque ya en torno al sueldo mínimo los publicos ganan un 20% mas y en la mediana ganan un 50% mas, lo cual es consistente con los datos de la encuesta ESI.

Insertar CODE, HTML o PHP:

Asalariados públicos:
      p0      p10      p20      p30      p40      p50      p60      p70      p80      p90     p100
    8000   215143   250000   300000   370000   450000   520000   650000   850000  1200000 12500000

Asalariados privados:
      p0      p10      p20      p30      p40      p50      p60      p70      p80      p90     p100
    1197   200000   240000   250000   280000   300000   353166   443684   550000   800000 26000000

Comparación
      p0      p10      p20      p30      p40      p50      p60      p70      p80      p90     p100
    568%       8%       4%      20%      32%      50%      47%      47%      55%      50%     -52% 

Los datos de la encuesta Casen arrojan evidencia contundente de que los empleados publico ganan mas que los privados en todo los niveles de ingresos excepto en el decil mas alto. En sueldos mayores que el mínimo el sobrepago esta entre 20% y 50%, lo cual constituye un importante desvió de recursos públicos que son capturados por ese grupo de interés.





Script completo (reemplazar el path a la base de datos):

Spoiler

¡Debes iniciar sesión para ver el Spoiler!