Dados abertos sobre mortos e feridos no trânsito de SP de 2011 a 2015

Após conseguir com um pedido feito a partir da Lei de Acesso à Informação (nº 12.527/2011) que os dados sobre mortos e feridos no trânsito de São Paulo de 2014 fossem abertos, a equipe do Código Urbano trabalhou junto com mais gente que pesquisa mobilidade para uma nova solicitação e conseguiu acesso às informações sobre todas ocorrências também de 2011, 2012, 2013 e 2015. O pedido de informações foi feito de maneira conjunta e formalizado desta vez pelo amigo Rafael Calabria, e disponibilizadas pela Prefeitura de São Paulo em um arquivo único comprimido, que pode ser descompactado com qualquer programa gratuito do gênero.

-> mortos-e-feridos-transito-2011-2015

Assim como da última vez, em que organizamos visualizações e um artigo didático de como acesssar tais informações, temos intenção de futuramente trabalhar e analisar melhor com os dados recebidos*. Considerando, porém, a importância do acesso fácil e rápido às informações até para formulação e continuidade de políticas públicas de defesa da vida para cidade, já disponibilizamos o arquivo e encorajamos outras organizações, pesquisadores e representantes de órgãos públicos que lidam com o tema a se apropriarem das informações**.

* ATUALIZAÇÃO feita em 19 de outubro de 2016: O Vitor George atualizou o repositório de dados que mantemos sobre ocorrências no trânsito, convertendo estes novos arquivos do formato Mapinfo para CSV. Com isso, é possível trabalhar com os dados de maneira aberta. Com a base de logradouros de São Paulo disponibilizada pela prefeitura em Access, que também convertemos para CSV, dá para mapear diretamente as ocorrências.

** ATUALIZAÇÃO feita em 10 de novembro de 2016: Com base nos dados disponibilizados, o pessoal do MedidaSP fez um mapa interativo de mortes no trânsito e um vídeo tutorial sobre como usar a ferramenta.

O desafio dos dados abertos para monitorar a qualidade do ar em SP

A poluição do ar é um dos problemas de saúde mais graves dos nossos tempos. Embora invisíveis, pequenas partículas de poeira – 2,5 micrômetros de diâmetro – são consideradas a quarta maior causa de morte em todo o mundo. A Organização Mundial da Saúde estima que doenças respiratórias são responsáveis por 2,9 milhões de mortes por ano.

No entanto, apesar da gravidade do problema, conseguir informações precisas e localizadas sobre a qualidade do ar é difícil, se não impossível. Mesmo quando fornecidos por governos ou pesquisadores, os dados tendem a representar grandes ambientes, em vez de locais específicos. Na cidade São Paulo, como mostram informações da plataforma OpenAQ, existem 19 estações de monitoramento e apenas 9 delas realizam as medições do material particulado 2.5 (PM 2.5).

Com isso em mente, o Código Urbano trabalhou nos últimos 18 meses com a rede Earth Journalism Network (EJN) para experimentar o uso de sensores de baixo custo para identificar problemas de poluição do ar em São Paulo. A EJN, projeto da ONG Internews tem trabalhado ao longo dos últimos três anos para envolver pesquisadores e líderes de tecnologia social em lugares como Ulan Bator (Mongólia ), Jacarta (Indonésia) e São Paulo. Em parceria com o engenheiro Matthew Schroyer, a EJN desenvolveu o DustDuino, um sensor de partículas que utiliza um microprocessador Arduino adaptado para enviar dados de qualidade do ar em tempo real para a internet.

O vídeo abaixo conta mais sobre o conceito do projeto e a implementação em São Paulo.

Em abril de 2014, com o apoio do Feedback Labs, o Código Urbano se juntou ao “Make Sense”, um consórcio para testar a hipótese de que sensores de baixo custo poderiam ser usados para melhorar a capacidade de resposta à poluição do ar. Um conjunto diversificado de parceiros – incluindo Frontline SMS, SimLab, a Iniciativa Ground Truth e Development Seed – foram mobilizados para contribuir para a criação de uma rede de sensores piloto em SP.

Nos 18 meses seguintes, os parceiros projetaram e fabricaram um protótipo do DustDuino e desenvolveram o site OpenDustMap.com para exibir leituras dos dispositivos. Além disso, um manual para o uso do sensor foi escrito.

Poster sobre os efeitos da poluição do ar sobre a saúde e o funcionamento do DustDuino. Por Luiza Peixe/Código Urbano
Poster sobre os efeitos da poluição do ar sobre a saúde e o funcionamento do DustDuino. Por Luiza Peixe/Código Urbano

Ao implantar o DustDuino em São Paulo, a equipe foi capaz de testar a qualidade dos dados produzidos e também a distribuição de dados através de mensagens SMS e mapas interativos na web. Houve um enorme interesse entre os jornalistas, programadores, ONGs, funcionários municipais e outras partes interessadas. Ao todo, conseguimos distribuir 12 sensores ao redor da cidade e conectá-los em tempo real com nosso mapa interativo.

As lições aprendidas durante o projeto agora estão documentadas em um relatório de autoria de Erica Hagen da iniciativa Ground Truth. Este documento de aprendizagem foi criado através de entrevistas com cada um dos parceiros do consórcio e descreve detalhadamente as nossas estratégias para lidar com problemas comuns a projetos de internet das coisas, tais como o envolvimento do usuário, opções de conectividade, processos de fabricação e os atuais desafios na coleta de dados relevantes.

Além da obtenção de dados confiáveis, um dos objetivos-chave na criação e implantação de sensores foi gerar uma comunidade de usuários que pode tornar a rede eficaz. Por isso com apoio do Garoa Hacker Clube organizamos encontros e workshops para distribuir sensores e treinar pessoas em como usá-los.

Apesar do grande interesse por parte do público, os desafios de lidar com essa nova tecnologia não puderam ser superados durante o projeto-piloto. O objetivo final é proporcionar uma utilização fácil e barata dos sensores para permitir a cientistas-cidadãos e comunicadores informar com precisão os problemas da poluição do ar. Mas não chegamos lá ainda. Usar os DustDuinos ainda requer um certo nível de habilidades de programação.

“O projeto fez alguns progressos na criação de um protótipo de sensor confiável de qualidade do ar; sobre como organizar a produção em massa, solucionar problemas de software e hardware; realizar a integração com a API do Frontline SMS e uma integração do back-end com a exibição de dados no front-end do OpenDustMap.com”, Hagen conclui no relatório.

“O projeto também tem feito progressos em direção à obtenção de dados estruturados confiáveis ​​e precisos a partir dos sensores e produziu uma extensa documentação que irá permitir uma maior experimentação. No final, entretanto, o consórcio ainda não foi capaz de testar com sucesso o potencial da tecnologia de sensores para o monitoramento por pessoas e comunidades mais afetadas pela degradação ambiental.”

Leia o relatório completo (em inglês).

Em 2016, o Código Urbano segue sua parceria com a Earth Journalism Network para aumentar a quantidade dos sensores DustDuinos instalados em São Paulo, bem como melhorar a precisão e qualidade dos dados sobre poluição do ar coletados.

Leia também

Primeiro sensor independente para monitorar poluição é instalado em SP

LAI garante acesso a dados sobre mortos e feridos no trânsito de SP

Um pedido de informações à Prefeitura de São Paulo com base na Lei de Acesso à Informação (nº 12.527/2011) garantiu pela primeira vez o acesso legível por máquina a dados sobre mortos e feridos no trânsito do município de São Paulo. Após oito meses e duas negativas seguidas de recursos, a Comissão Municipal de Acesso a Informação deferiu pedido em terceira instância e, assim, garantiu a disponibilização de informações sobre as ocorrências que embasaram a formulação do Relatório Anual de Acidentes Fatais 2014.

O documento original foi divulgado pela Companhia de Engenharia de Tráfego em abril de 2015 em formato PDF, com apresentação de tabelas, números e mapas, mas sem a possibilidade de consulta aos dados que possibilitaram criar tais visualizações. No resultado do pedido, as informações estão organizadas em sete arquivos diferentes reunidos em um arquivo compacto .zip para download. Não é simples entender o que foi disponibilizado.

O arquivo “Protocolo PR 12024.accdb” está no formato proprietário Microsoft Access 2007. Ele contém informações sobre ocorrências, veículos e vítimas. Para facilitar a consulta, convertemos essas bases em formato CSV (campos separados por vírgula) que podem ser abertos no LibreOffice ou no Excel, disponibilizamos em nosso repositório no Github. A partir destes dados geramos tabelas com detalhes sobre as ocorrênciasvítimas e veículos envolvidos. Os significados de cada coluna nas tabelas são descritos no dicionário de dados.

Todas ocorrências de trânsito de SP em 2014

O mapa de ocorrências
Na resposta ao pedido, a CET-SP também disponibilizou dados em formato Mapinfo, outra plataforma proprietária. Fizemos a conversão com a excelente  biblioteca ogr2ogr e disponibilizamos em formato shapefile no repositório. Estes dados trazem o georeferenciamento das ocorrências, como ilustra o mapa ao lado.

O cruzamento da localização das colisões e atropelamentos com dados de outras fontes pode ser feito no QGIS, seguindo os passos deste tutorial. Também no QGIS é possível ver os dados sobre um mapa de ruas do OpenStreetMap instalando o plugin OpenLayers.  O manual de instruções explica como instalar complementos.

O material está disponível em domínio público e sua divulgação tem como objetivo  garantir mais subsídios técnicos no debate de políticas públicas por especialistas, jornalistas, pesquisadores ou qualquer cidadão com acesso à Internet e conhecimento básico de ferramentas de dados abertos.

A imagem abaixo aponta os locais de ocorrências fatais e permite observar que, em 2014, os pontos mais críticos foram as avenidas, em especial as vias marginais dos rios Pinheiros e Tietê. A situação é especialmente delicada no Cebolão, complexo de viadutos em que essas duas vias expressas se encontram.

Abrir dados, neste sentido, é também convidar a população a participar das decisões sobre questões que não são só técnicas, mas também políticas. A redução de velocidade adotada em muitas das avenidas em questão é um exemplo. A decisão gerou polêmica e questionamentos sobre a real necessidade de se desacelerar a cidade. Com o mapa aberto e uma visuação fica fácil identificar a gravidade da situação e onde são os pontos mais críticos.

Esta base de dados é a primeira a ser disponibilizada na página da Comissão Municipal de Acesso à Informação, no portal Transparência da Prefeitura Municipal de São Paulo. O precedente abre caminho para que os relatórios de outros anos (2015 e anos anteriores) sejam disponibilizados em formato legível por máquina, possibilitando a criação de mais visualizações especificas.

Leia também: Como usar a Lei de Acesso à Informação

* Evitamos usar “acidentes” de trânsito neste texto, apesar de o termo aparecer inclusive no nome do relatório sobre colisões e atropelamentos em São Paulo. Conforme explica Daniel Guth, diretor de participação da Ciclocidade: 

“atropelamentos ou colisões só podem ser considerados ‘acidentes de trânsito’ depois da perícia e do processo transitado em julgado. Antes disto devem ser tratados pelo que são, objetivamente: colisões ou atropelamentos. (…) O esvaziamento até a ausência de culpa e o processo de aceitação dos crimes de trânsito como meros acidentes, acontecimentos casuais e fortuitos, levou-nos a uma preocupante apatia que blinda nossa capacidade de indignação com o fato de termos, no Brasil, mais de 50 mil mortos no trânsito todos os anos, segundo dados do DPVAT.”

Baixe informações de locais isentos de rodízio pela SABESP em formato aberto

Após reportagem do iG, a SABESP informou quais são os locais isentos de rodízio e que contam com abastecimento prioritário em caso de falta d’água. O formato de publicação escolhido foi o PDF, que é usado para garantir que um documento seja visualizado da mesma maneira em diferentes plataformas, mas, apesar de bastante útil para a distribuição de documentos, não é adequado a dados estruturados.

Um conjunto de dados só pode ser considerado aberto, segundo diferentes definições, se estiver em um formato legível por máquina, pois assim poderá ser importado a bancos de dados ou aberto em programas de edição. Quando um dado é publicado exclusivamente em PDF, a única possibilidade de extração de dados é via raspagem de dados. Traduzido do termo inglês data scraping, é a técnica de extração de dados a partir de documentos legíveis a humanos. Uma excelente ferramenta de extração de arquivos PDF é o Tabula, que tem código aberto.

Após importar um PDF ao programa, é possível marcar as áreas onde estão posicionadas as tabelas que serão processadas, como na imagem:

Seleção de tabelas no Tabula

O Tabula não pode extrair automaticamente dados de todas as páginas do arquivo distribuído pela SABESP, então o processo de raspagem foi repetido para cada uma delas. O programa exporta em formato CSV, adequado a dados estruturados e legível por praticamente todos software de edição e linguagens de programação.

Links para os dados:

Íntegra do posicionamento dos Correios sobre a abertura da base de dados do CEP

Como parte de uma análise detalhada sobre por que o CEP deve ser tratado como informação pública, o Código Urbano solicitou aos Correios um posicionamento sobre a abertura da base de dados. Confira abaixo as perguntas enviadas e a íntegra da resposta encaminhada pela assessoria de imprensa da empresa pública.

 

A partir de consultas à base de processos da Lei de Acesso à Informação constatamos que já foram feitos e negados pelo menos três pedidos de acesso integral ao Diretório Nacional de Endereços. Ao analisar as requisições, a Controladoria Geral da União indic​ou​​ em seu parecer sobre os pedidos que o sistema de consultas​ hoje disponibilizado pela ECT​ deve​ria​ ser melhorado, permitindo consultas da base toda e não apenas de endereços individuais. Algo esta sendo feito para atender a CGU? Os Correios entendem o CEP como informação pública ou privada? 

Com relação ao pedido feito pela CGU, o Ouvidor Geral da União opinou pelo desprovimento deste. Sobre o sistema de consultas, os Correios, por meio do Busca CEP, disponibilizam no sitehttp://www.buscacep.correios.com.br , a todo cidadão, a consulta gratuita do Código de Endereçamento Postal – CEP de forma individualizada. Nas agências, o cliente também pode solicitar esse tipo de informação aos atendentes.

Com o objetivo de atender as necessidades domésticas, essa página permite ao cidadão o acesso à informação do CEP de diversas formas, conforme se observa na imagem copiada do site, a seguir:

Descrição: cid:image001.jpg@01D05B56.B28AF2B0

Existe interesse​ por parte da empresa em melhorar esse acesso, ainda que apenas para fins não comerciais​?​ Considerando que a​ Lei Postal autoriza divulgação do Diretório Nacional de Endereços para fins não comerciais (artigo 15, parágrafo 3º)​, existe perspectiva para a base integral ser aberta? 

Em relação à comercialização da base de dados do CEP, ressaltamos que os Correios, como empresa pública, são regidos por leis que norteiam suas atividades.

Em conformidade com a Lei 6.538/78 que regula os direitos e obrigações concernentes ao Serviço Postal, notadamente pela por força do artigo 8º, inc. II, a ECT  pode comercializar a sua base de dados do CEP, conforme transcrito abaixo:

“8º São atividades correlatas ao serviço postal: ll-Venda de publicações divulgando regulamentos, normas, tarifas, listas de código de endereçamento e outros assuntos referentes ao serviço postal”.

Portanto para atender as necessidades de acesso e obtenção da base de dados do CEP, os Correios ofertam ao mercado os produtos Guia Postal Brasileiro (GPB) e o Diretório Nacional de Endereços (DNE), nas modalidades Básico e Master, que podem ser adquiridos na loja virtual http://www.shopping.correios.com.br/ .