Portals de dades obertes

benvolguts / benvolgudes,

tot i que ja hem vist i usat alguns exemples de fonts de dades, voldria aprofitar per fer un petit recull i obrir un debat sobre la necessitat d’endreçar una mica el panorama des del punt de vista dels productors però pensant en els usuaris finals. És a dir, com posar a disposició dels mediadors i dels consumidors les dades obertes i, sobretot, com proporcionar mecanismes per obtenir feedback de la comunitat d’usuaris.

Començarem identificant alguns portals de dades obertes, de més propers a més llunyans. A nivell català, tenim actualment els ajuntaments molt actius publicant dades obertes, entre d’altres (no pretenem ser exhaustius, si considereu que cal afegir algun element a la llista feu un comentari):

A nivell català, també podem trobar uns quants grans productors de dades:

A nivell espanyol, hi ha també un munt d’administracions i organitzacions de diferent mida que publiquen dades en obert:

I a nivell internacional, podem destacar els següents:

Aquest darrer, més que proporcionar accés a dades obertes, descriu les polítiques i accions que està seguint la Unió Europea respecte a les dades obertes.

Però no només les administracions publiquen dades en obert, també els usuaris finals han construït col·laborativament repositoris de dades obertes, aprofitant les possibilitats de les tecnologíes de la web 2.0 i la geolocalització mitjançant dispositius mòbils:

I si “estirem” el concepte de dades, podem incloure moltes altres fonts:

I les empreses i corporacions? Coneixeu algun exemple d’empresa que publiqui dades en obert sobre la seva activitat o dels seus productes? Jo per biaix professional conec algun:

Us proposo reflexionar sobre el següent:

1) Aporteu més exemples als anteriorment citats, si pot ser amb quatre línies describint qui són i quin tipus de dades obertes publiquen.

2) Aquests portals, especialment els més propers a nosaltres (geogràficament), estan pensats de cara realment a l’usuari final (mediadors i consumidors)? És a dir, expliciten clarament els elements següents?:

  1. Condicions d’ús
  2. Accés multiformat (3-5 estrelles) i/o APIs
  3. Documentació sobre les dades
  4. Mecanismes de feedback (sol·licituds, correcció d’errors, etc.)

Reviseu alguns dels portals mencionats (o qualsevol altre que coneixeu i volgueu compartir) i doneu la vostra opinió sobre si són prou “user-friendly” o no.

3) A banda dels elements mencionats en la qüestió anterior, què més creieu que haurien de proporcionar les administracions o institucions per a promoure una cultura oberta basada en la reutilització de dades obertes? O des de l’altra banda, què més haurien de reclamar els usuaris finals? Què necessitarieu vosaltres per començar a generar valor amb dades obertes?

Vinga, esperem les vostres aportacions!

Salutacions,

Julià

VN:F [1.9.22_1171]
Rating: 9.5/10 (2 votes cast)
Portals de dades obertes, 9.5 out of 10 based on 2 ratings

18 pensaments a “Portals de dades obertes”

  1. 1)
    Otro ejemplo de open data público podría ser:
    Open data Aragón
    Está en linea con los ejemplos aportados ya.
    2)
    En cuanto al uso, ofrecen SPARQL, y segmentaciones temáticas y territoriales.
    3)
    Este punto es el más interesante, porque hay una clara diferencia entre recopilar datos, o tenerlos recopilados por ‘ley’.
    Hacienda, o el INE, tienen ingentes cantidades de datos útiles desde el punto de vista estadístico. Pero porque los ciudadanos estamos obligados a proporcionarlos.
    Sin embargo, una empresa,o un profesional, lo único que puede hacer es buscar agregaciones de datos, que puedan tener un valor añadido, y ofrecerlas a cambio de alguna recompensa.
    Dada la disparidad de formatos, métodos de acceso, temáticas y objetivos finales, parece ser que la propia evolución de estas disciplinas irá marcando las tendencias, de forma ‘darwiniana’.
    Saludos.

    VA:F [1.9.22_1171]
    Rating: 1.0/5 (1 vote cast)
  2. Com a exemple d’organitzacions públiques a nivell mundial, tenim el cas del Banc Mundial, que dona accés obert i gratuït a dades sobre desenvolupament dels països de tot el món.

    http://data.worldbank.org/

    La pròpia web té un sistema de recerca simple, recerques avançades, comparació, visualització, etc., molt intuïtiva i pensada per usuaris no tècnics.

    Tot i això disposa d’una API i molta informació que encoratja a utilitzar-la i millorar-la.

    També permet descarregar la informació gràfica (gràfics i mapes) amb facilitats de còpia d’imatges. Però el que està francament ben treballat és la descàrrega de taules en diferents formats (excel, xml, csv, TabletTXT i SDMX) amb moltes opcions disponibles.

    Interessant el llicenciament. Obert fins i tot a usos comercials. Amb atribució. I amb una referència a llegir les condicions especials per aquelles dades incorporades d’altres fonts als seus datasets. Per exemple, les estadístiques de Catalunya, tiren de les dades d’Idescat, Hisenda, etc., fins a complimentar tots els datasets que tenen definits. Això fa que, en casos així, al no ser dades seves, et remeten a les condicions de la font original:

    Per mi és un dels portals més user-friendly (també és dels que utilitzo més) i reconec que la feina feta per en Tariq Khokhar (sempre accesible pel twitter) i el seu equip és molt digne.

    VA:F [1.9.22_1171]
    Rating: 5.0/5 (1 vote cast)
  3. Respecte a la pregunta sobre “què més creieu que haurien de proporcionar les administracions o institucions per a promoure una cultura oberta basada en la reutilització de dades obertes?”, em faré pesat en el tema de la regulació. Com que per voluntat pròpia o fent pedagogia, costa que les empreses, institucions i persones obrin dades (llevat que els doni benefici ràpid i tangible), l’administració ha de saber gestionar el poder que els ciutadans li atorguem per a condicionar la pràctica de tercers amb dades obertes. Crec que no es difícil posar condicions d’obertura de dades en els processos de compra pública, com tampoc no ho hauria de ser en la clarificació del llicenciament de l’ús de dades de l’administració per a transferir les 5 Rs i, si s’escau les 3/5 estrelles.

    Continuo insistint en la necessitat d’una voluntat política en cada administració i en cada organització pública que prioritzi l’obertura de dades.

    D’altra banda, ens caldria documentació clara sobre l’utilització tècnica de les dades i, posats a demanar, una “sandbox” per a provar els prototips d’accés automatitzat a dades sense malmetre els serveis en funcionament.

    I també interlocució tècnica àgil i entesa.

    Algú més s’anima a ampliar la “carta als reis”?

    VA:F [1.9.22_1171]
    Rating: 4.7/5 (3 votes cast)
    1. aquesta carta seria un bon resultat d’aquest curs, Jaume, perquè no fas una proposta mitjançant un Google doc en obert i potser més gent s’anima?

      un senzill document on es deixin clars quatre punts que tota administració hauria de cumplir respecte a la publicació de les seves dades en obert, amb més detall que no pas el decàleg, potser

      salutacions

      Julià

      VN:F [1.9.22_1171]
      Rating: 1.0/5 (1 vote cast)
  4. En centraré en el punt 2, concretament, agafant com exemple l’ICC. Degut al tipus de dadeque, principalment, s’hi ofereixen (ortofotos, mapes topogràfics…), es necessiten uns certs coneixements de base de cara a poder manipular-les. Sense entrar en la complexitat associada al programari que s’utiliza per a manipular-les, les condicions d’ús si que queden clares si es consulten els aspectes legals a la pàgina web.
    Tanmateix, la claredat de l’accés multiformat, deixa molt a desitjar, tot i que la documentació sobre les dades és força complerta, ja que hi ha diverses opcions a l’hora de descarregar els mapes, i les informacions ofertes són les necessàries.
    Finalment, sobre els mecanismes de feedback, penso que seria una de les altres tasques pendents de la web.
    Finalment, destacar que, la pròpia interfície per a descarregar els mapes pot fer-se força feixuga de vegades.

    Així doncs, tot i que ens trobem amb dades que són força especialitzades, es podria millorar molt si ens plantegem les necessitats des de la perspectiva de l’usuari final.

    VA:F [1.9.22_1171]
    Rating: 5.0/5 (1 vote cast)
    1. és cert que hi ha formats que són complexes per la necessitat de descriure dades també complexes, però això no vol dir que només es presentin les dades en formats propietaris; “a les males” un fitxer XML o RDF hauria de ser prou per representar qualsevol tipus d’estructura, encara que sigui de forma ineficient, sempre hauria d’haver una opció per qui no disposi d’un programari específic

      salutacions

      Julià

      VN:F [1.9.22_1171]
      Rating: 0.0/5 (0 votes cast)
  5. Hola,

    L’Ajuntament de Lleida té un web de dades obertes també. És un catàleg de dades amb llicència CC-BY 3.0. Ofereix varis formats de dades, entre els quals CSV, KML-KMZ, WMS, PDF i el format propietari de sistemes d’informació geogràfica SHP.

    Les dades estan publicades perquè tothom pugui utilitzar-les i si es vol crear aplicacions que les utilitzin. El web mostra aplicacions creades utilitzant el seu catàleg de dades obertes.

    VA:F [1.9.22_1171]
    Rating: 0.0/5 (0 votes cast)
  6. Hola,

    No és un portal de dades obertes però, hi ha qui publica informació en formats oberts que perfectament podrien formar part d’un catàleg de dades obertes. Així, el web de turisme de Gandesa (Terra Alta) publica la informació turística al web i proporciona l’enllaç a fitxers KML amb la informació dels llocs d’interès. Aquesta informació enllaça amb l’apartat del web que l’amplia.

    Malauradament no es publica la llicència amb què es publiquen aquestes dades.

    VA:F [1.9.22_1171]
    Rating: 0.0/5 (0 votes cast)
  7. MOOOLT d’acord amb el Sergi (sóc un sofert usuari de l’ICC)

    VA:F [1.9.22_1171]
    Rating: 0.0/5 (0 votes cast)
  8. Vaja, no he vist les respostes i també volia parlar de la web del bank mundial. Afegir la gran quantitat d’indicadors pels quals podem filtrar informació.

    2) Mecanismes de feedback, durant tota la navegació marge inferior-dret de la web. Conté unes quantes consultes per defecte, les més usuals.
    Fent una cerca a la pàgina podem accedir a http://data.worldbank.org/node/226 on es recullen totes les API.
    Els catàlegs http://data.worldbank.org/developers/data-catalog-api (XML o JSON).

    3) crec que les administracions haurien de promoure el software lliure. Per exemple, molts dels cursos que es fan a casals o centres cívics no les fan servir. Una altra mesura podria ser dedicar una assignatura o un parcial del cicle educatiu a explicar-les.
    Per últim, campanyes informatives a ràdio o televisió (potser aprofitar l’espai que dediquen a internet al telenotícies de Tv3 el diumenge?)
    Sobre què podria reclamar com a usuari? potser un lloc on compartir les meves dades amb les de la resta d’usuaris.

    VA:F [1.9.22_1171]
    Rating: 0.0/5 (0 votes cast)
  9. A nivell internacional afegiria Canada (http://data.gc.ca/eng) i, per allò de no ser centralistes, a la llista dels municipis catalans afegiria per exemple Lleida (http://www.paeria.cat/opendata/ca/index.asp) i Tarragona (http://opendata.tarragona.cat/tarragona/ca)
    A mi m’agrada especialment el cas de Lleida. No disposa de moltes dades, però està configurat de forma molt didàctica (“com utilitzar les dades”, “Servei d’assessorament”, “Aplicacions realitzades”, “Aporta’ns la teva idea”, …) intentant engrescar a l’usuari.

    VA:F [1.9.22_1171]
    Rating: 5.0/5 (1 vote cast)
    1. bé, he de dir que la llista de 3 era “centralista” per ser de 3, de fet de les vostres respostes queda clar que iniciatives amb dades obertes n’hi ha moltes i que queda clar que cal endreçar-les, cal un portal de portals o quelcom que sigui més sostenible, com ara una “datapedia”, per exemple

      el problema? doncs que no queda clar com s’han de definir els conjunts per a que tothom els pugui entendre, hi ha una part semàntica inherent a cada conjunt de dades que és difícil de descriure; p.e. la comunitat acadèmica que dissenya algorismes per fer mineria de dades ha creat un repositori de dades en obert amb un format més o menys estàndard de forma que tothom pot usar els mateixos conjunts per a poder reproduir experiments:

      UCI Machine Learning repository

      no és ideal, però és un primer pas

      salutacions

      Julià

      VN:F [1.9.22_1171]
      Rating: 0.0/5 (0 votes cast)
  10. En Julià proposava que reviséssim alguns dels portals mencionats i donessim la vostra opinió sobre si són prou “user-friendly” o no.

    Primerament dir que l’enllaç a dades obertes de l’Ajuntament de Barcelona correcte és http://opendata.bcn.cat/opendata/ca/ i que l’Ajuntament de Sabadell té alguns enllaços que no funcionen.

    Especialment interessant m’ha sembla el Banc Mundial, que sí trobo força user friendly. En general els portals de dades obertes sí són user friendly, a mi m’estan sorprenent per a bé.

    I a l’últim comentari de la Montse Clavell ha proposta els ajuntaments de Lleida i Tarragona que no tenen també molt bon aspecte, potser no amb tantes dades com Barcelona però sí m’han semblat endreçats i que funcionen.

    VA:F [1.9.22_1171]
    Rating: 0.0/5 (0 votes cast)
    1. eps, mea culpa, potser l’han canviat recentment i jo he usat un antic que tenia sense comprovar-lo, gràcies!

      VN:F [1.9.22_1171]
      Rating: 4.0/5 (1 vote cast)
  11. Hola!

    en primer lloc, disculpeu el retard en respondre aquesta setmana. Contesto en la mesura que puc:

    1) Arran dels tallers de les Jornades de la Big Data, vaig descobrir una web i recurs que es diu el ‘Sismògraf de la Generalitat’: http://opengov.cat/sismograf/
    L’objectiu d’aquest projecte és analitzar l’actualització de les dades que publica la Generalitat en el seu portal de dades obertes i detectar d’on depenen i com es configuren les diverses entitats dels organigrames de la Generalitat, amb tots els seus canvis. Si voleu més informació i més acurada, doneu-hi un cop d’ull.

    Altres podrien ser els repositoris d’articles acadèmics de les diverses universitats, com la UOC.

    2) Pel que fa al portal de l’Ajuntament de Barcelona, em sembla un bon exponent amb molts formats de dades i cerques disponibles, possibilitats de reportar incidències, i que reuneix tots els requisits per ser “user-friendly”, especialment per a consumidors i potser en menor grau per a mediadors. En canvi al de la Generalitat, en lloc de ‘Condicions d’ús’, un recordatori de com utilitzar-les i, en general, em sembla més adreçada a mediadors, organismes o emprenedors coneixedors que puguin reutilitzar-les, amb enfocament de formats XML, possibilitat de fer suggeriments de dades o aplicacions

    3) Per generar valor amb les dades obertes, a part de tots els temes tècnics, crec que com a mediadora necessitaria saber que puc fer amb elles a nivell legal i no només tècnic, i si pot interessar a l’organisme o administració com puc arribar a acords amb ells, a l’hora de fer i oferir els meus serveis com a empresa o emprenedora -no sé si cabria aquí alguna possibilitat de publicitat, patrocini o micromecenatge.

    Fins aviat!

    Mercè

    VA:F [1.9.22_1171]
    Rating: 0.0/5 (0 votes cast)
  12. Desde la web de la aplicación GAPMINDER podemos acceder a datos de varios proveedores. Estos datos ya están listos para ser visualizados con dicha aplicación.

    No estoy seguro, pero creo que incluso particulares puede n aportar sus datos (normalmente serían datos oficiales o no, preparados para ser utilizados con dicho programa).

    http://www.gapminder.org/data/

    VA:F [1.9.22_1171]
    Rating: 0.0/5 (0 votes cast)
  13. hola de nou,
    afegeixo un nou exemple d’administració que obre les dades que té disponibles a través del propi portal Open Data, el d’Euskadi. Igual que el portal de la Generalitat de dades obertes, ofereix les dades en una gran diversitat de formats; sembla que en ambdós casos guanya el format XLS.

    Apunto també un mapa del món amb una classificació que ha fet la Fundación CTIC de datasets públics; permet el filtratge per tipus de dada, per estrelles, per territori (Catalonia inclosa)… i que permet reportar errors i fins i tot proposar dades que encara no hi són: http://datos.fundacionctic.org/sandbox/catalog/faceted/

    Suposo que el que hauria d’oferir l’administració perquè ens animéssim a reutilitzar dades obertes són incentius. Per exemple, a través de concursos que oferissin premis en metàl·lic que permetessin tirar endavant iniciatives o models de negoci. I també, acabar de posar a disposició de la ciutadania les dades que encara no estan obertes o bé que ho estan en un format no del tot ‘obert’).

    Per la banda de la ciutadania, imagino que el principal problema/mancança amb què ens trobem és el desconeixement, falta de pràctica a l’hora d’utilitzar les eines que ens permetrien explotar les dades i treure’n profit. La formació en aquest sentit és essencial.

    VA:F [1.9.22_1171]
    Rating: 0.0/5 (0 votes cast)

Deixa un comentari

L'adreça electrònica no es publicarà. Els camps necessaris estan marcats amb *