Censo Escolar (Microdados)

microdados_censo_escolar_AAAA/
├── dados/
│   ├── microdados_ed_basica_AAAA.csv       # Arquivo principal (ou dividido por dimensão)
│   ├── ESCOLAS.CSV
│   ├── TURMAS.CSV
│   ├── MATRICULA_*.CSV                      # Dividido por região (CO, NE, NO, SE, SUL)
│   └── DOCENTES_*.CSV                       # Dividido por região
├── leia-me/
│   └── Leia_me.txt
├── anexos/
│   └── DICIONARIO_DADOS.xlsx
└── scripts/
    └── INPUT_SAS_*.sas                      # Scripts de importação SAS

# Exemplo de download (o link exato pode mudar a cada publicação)
wget "https://download.inep.gov.br/dados_abertos/microdados_censo_escolar_2023.zip"

import zipfile
import pandas as pd
from pathlib import Path
 
# Após baixar o ZIP manualmente da página do INEP
ZIP_PATH = Path("microdados_censo_escolar_2023.zip")
DESTINO = Path("./dados_censo_escolar")
 
# Extrair o ZIP
with zipfile.ZipFile(ZIP_PATH, "r") as zf:
    zf.extractall(DESTINO)
    print("Arquivos extraídos:")
    for nome in zf.namelist():
        print(f"  {nome}")
 
# Localizar o arquivo de escolas
# A estrutura pode variar; ajuste o caminho conforme o ano
arquivo_escolas = list(DESTINO.rglob("*ESCOLAS*.CSV"))[0]
 
# Ler o CSV de escolas
# O separador pode ser "|" ou ";", e o encoding pode ser "latin-1" ou "utf-8"
df_escolas = pd.read_csv(
    arquivo_escolas,
    sep="|",
    encoding="latin-1",
    dtype=str,
    low_memory=False,
)
 
print(f"Total de escolas: {len(df_escolas):,}")
print(f"Colunas: {list(df_escolas.columns[:10])}...")
print(df_escolas.head())

# Selecionar colunas de interesse
colunas_infra = [
    "CO_UF", "NO_UF", "CO_ENTIDADE", "NO_ENTIDADE",
    "TP_DEPENDENCIA",  # 1=Federal, 2=Estadual, 3=Municipal, 4=Privada
    "IN_AGUA_POTAVEL", "IN_ENERGIA_REDE_PUBLICA",
    "IN_ESGOTO_REDE_PUBLICA", "IN_INTERNET",
    "IN_BANDA_LARGA", "IN_BIBLIOTECA",
    "IN_LABORATORIO_INFORMATICA", "IN_QUADRA_ESPORTES",
]
 
df_infra = df_escolas[colunas_infra].copy()
 
# Converter indicadores para numérico (0/1)
indicadores = [c for c in colunas_infra if c.startswith("IN_")]
for col in indicadores:
    df_infra[col] = pd.to_numeric(df_infra[col], errors="coerce")
 
# Percentual de escolas com internet por UF
internet_por_uf = (
    df_infra.groupby("NO_UF")["IN_INTERNET"]
    .mean()
    .mul(100)
    .round(1)
    .sort_values(ascending=False)
)
 
print("Percentual de escolas com internet por UF:")
print(internet_por_uf.to_string())

# Matrículas são arquivos muito grandes; usar leitura em chunks
arquivo_matriculas = list(DESTINO.rglob("*MATRICULA_SE*"))[0]
 
# Ler em chunks para não estourar a memória
chunks = pd.read_csv(
    arquivo_matriculas,
    sep="|",
    encoding="latin-1",
    dtype=str,
    chunksize=500_000,
)
 
total = 0
for i, chunk in enumerate(chunks):
    total += len(chunk)
    print(f"Chunk {i}: {len(chunk):,} registros (acumulado: {total:,})")
 
    # Processar cada chunk aqui (ex: filtrar por município, agregar)
    # resultado_parcial = chunk[chunk["CO_MUNICIPIO"] == "3550308"]  # São Paulo
 
print(f"\nTotal de matrículas na região SE: {total:,}")

arquivo_docentes = list(DESTINO.rglob("*DOCENTES_SE*"))[0]
 
df_docentes = pd.read_csv(
    arquivo_docentes,
    sep="|",
    encoding="latin-1",
    dtype=str,
    low_memory=False,
)
 
# TP_ESCOLARIDADE: 1=Fundamental incompleto, 2=Fundamental, 3=Médio, 4=Superior
escolaridade_map = {
    "1": "Fundamental incompleto",
    "2": "Fundamental completo",
    "3": "Ensino médio",
    "4": "Ensino superior",
}
 
contagem = (
    df_docentes["TP_ESCOLARIDADE"]
    .map(escolaridade_map)
    .value_counts()
)
 
print("Docentes por nível de escolaridade:")
print(contagem.to_string())

import pandas as pd
 
# 1. Carregar dados de escolas (Censo Escolar)
df_escolas = pd.read_csv(
    "dados_censo_escolar/ESCOLAS.CSV",
    sep="|",
    encoding="latin-1",
    dtype=str,
    usecols=["CO_ENTIDADE", "NO_UF", "TP_DEPENDENCIA",
             "IN_INTERNET", "IN_BIBLIOTECA", "IN_LABORATORIO_INFORMATICA"],
)
 
# Converter indicadores para numérico
for col in ["IN_INTERNET", "IN_BIBLIOTECA", "IN_LABORATORIO_INFORMATICA"]:
    df_escolas[col] = pd.to_numeric(df_escolas[col], errors="coerce")
 
# 2. Carregar dados do ENEM (médias por escola)
df_enem = pd.read_csv(
    "dados_enem/MICRODADOS_ENEM_2023.csv",
    sep=";",
    encoding="latin-1",
    dtype=str,
    usecols=["CO_ESCOLA", "NU_NOTA_MT", "NU_NOTA_LC"],
)
 
df_enem["NU_NOTA_MT"] = pd.to_numeric(df_enem["NU_NOTA_MT"], errors="coerce")
df_enem["NU_NOTA_LC"] = pd.to_numeric(df_enem["NU_NOTA_LC"], errors="coerce")
 
# Média por escola
medias_escola = df_enem.groupby("CO_ESCOLA")[["NU_NOTA_MT", "NU_NOTA_LC"]].mean()
 
# 3. Cruzar: infraestrutura da escola x desempenho
df_cruzado = df_escolas.merge(
    medias_escola, left_on="CO_ENTIDADE", right_index=True, how="inner"
)
 
# Comparar notas médias: escolas com internet vs sem internet
com_internet = df_cruzado[df_cruzado["IN_INTERNET"] == 1]["NU_NOTA_MT"].mean()
sem_internet = df_cruzado[df_cruzado["IN_INTERNET"] == 0]["NU_NOTA_MT"].mean()
 
print(f"Nota média Matemática (com internet): {com_internet:.1f}")
print(f"Nota média Matemática (sem internet): {sem_internet:.1f}")
print(f"Diferença: {com_internet - sem_internet:.1f} pontos")