Grup de treball 5: ofertes de feina

Si us plau, els participants en aquest grup feu un comentari indicant el següent:

  1. presenteu-vos
  2. indiqueu quin o quins són els vostres objectiu amb aquest data set
  3. indiqueu quina o quines eines voleu utilitzar per assolir aquest objectius
  4. aneu explicant cada pas o fita que aneu assolint
  5. si genereu cap altre document (slideshare, google docs, github, …) compartiu-lo aquí
  6. TOTS ELS GRUPS: si teniu cap dubte, idea, etc., no deixeu de compartir-la aquí mateix!
  7. TOTS ELS GRUPS: utilitzeu el sistema de votacions per valorar cada comentari

10 pensaments a “Grup de treball 5: ofertes de feina”

  1. Hola!

    En aquest grup som 3 persones:
    1. Dani Jiménez
    2. Jaume Fortuny
    3. Mercè Feu
    Tots tres tenim el mateix perfil: enginyers de base amb coneixements de gestió i administració d’empreses.

    L’OBJECTIU del nostre data set és aconseguir les següents dades: durant un periode de temps determinat (si podem, durant el 2013), saber el número d’ofertes laborals (classificades per funció laboral) que han publicat les empreses (classificades per sector) a nivell mundial.

    El primer que farem és identificar les FONTS d’on obtindrem aquestes dades: anirem a LinkedIn, i si ens dóna temps, ampliarem amb Twitter, Eures, i InfoJobs.

    Les EINES que utilitzarem són:
    – Per la captura de dades: les APIs de cada font
    – Per al processat i anàlisi: OpenRefine
    – Per a la visualització: no ho hem definit encara, però segurament D3.js

    Salutacions!

  2. Un dels problemes de la captura de dades (en aquest cas, des de twitter) amb l’autenticació oAuth i l’escassetat de temps per fer front a aquesta part de la feina, el podem resoldre amb l’exemple que ens facilita l’Amit Agarwal des del seu web “Digital Inspiration”:

    http://www.labnol.org/internet/save-twitter-hashtag-tweets/6505/

    En essència, ens ensenya com accedir a la API de twitter per extreure informació d’un hashtag (o combinació de hashtags) i abocar-ho a un full de càlcul de Google de forma regular (100 registres cada X temps) automatitzada.

    Aquest full de càlcul el podem després manipular directament o posar a disposició com a CSV si ens cal.

    Ho he trobat molt interessant per desencallar la part d’obtenció de les dades i ja l’estic provant amb resultats satisfactoris. 😀

    A més a més, crec que es un bon exercici per interactuar amb l’API, obtenir keys, autenticar usuaris,… i obtenir un coneixement aplicable a altres fonts de Big Data.

  3. Hola companys,
    veig que teniu intenció d’utilitzar i treballar amb Open Refine. Per la meva part he intentat accedir al programa però no me n’he sortit. He descarregat el paquet però quan he intentat extreure’l del ZIP on es troba em dóna error.
    Ja l’heu instal·lat vosaltres? Com us ho heu fet?

    Salut

  4. Hola, és un error ben estrany…
    Quan extrec els arxius del zip, em diu:

    ‘0 can not open output file + ruta on ho intento extreure
    1 can not open output file + ”
    2 can not open output file + ”
    3 can not open output file + ”
    Etc. ‘

    Ho he provat en diferents carpetes del meu ordinador, i a tot arreu em diu el mateix…

  5. Efectivament… i el problema és que ho he provat a la feina, a casa i al portàtil i a tot arreu em dóna el mateix resultat. Tornaré a provar. aviam…

  6. Hola,

    a més de el número d´ofertes de feina, crec que podrieu fer :
    coneixer les funcions laborals més demanades, a on i per quines edats
    que l´usuari pugui interactuar i donat el seu perfil que busqui on pot trobar feina, quines habilitats demanen i amb quins salaris

    Un dubte :
    Linkedin té dades obertes (encara que sigui amb API) ? O s´han d´extreure directament d´una cerca des de el portal ?

  7. TREBALL DEL SEGON TALLER
    (amb l’incorporació de l’Airí Dordas 😉 )

    CAPTURA DE DADES DESDE LINKEDIN
    Utilitzem la API que LinkedIn proporciona per fer cerca d’ofertes de feina: https://developer.linkedin.com/documents/job-search-api

    PASSES

    1.- APIGEE – Eina per fer querys a Linkedin – retorna un xml: https://apigee.com/console/linkedin?authTypeVal=oauth2&afterSuccessfulAuth=true&req=%7B%22resource%22%3A%22searchjobs%22%2C%22params%22%3A%7B%22query%22%3A%7B%7D%2C%22template%22%3A%7B%7D%2C%22headers%22%3A%7B%7D%2C%22body%22%3A%7B%22attachmentFormat%22%3A%22mime%22%2C%22attachmentContentDisposition%22%3A%22form-data%22%7D%7D%2C%22verb%22%3A%22get%22%7D

    2.- Dades del compte de LinkedIn creat per fer aquest treball (necessari per obtenir claus d’autenticació per la API de Linkedin):

    a) Paràmetres de la query exemple:
    Any: date-posted,2013
    Localització: idealment mundial (sense posar codi)

    b) Codis de paisos: http://en.wikipedia.org/wiki/ISO_3166-1_alpha-2#Officially_assigned_code_elements
    Industria de la oferta – volem ofertes d’empreses tecnològiques: industry,8 (i altres)

    c) LLista de codis per indústria: https://developers.linkedin.com/documents/industry-codes

    d) Start / Count – del total d’ofertes de la crida feta, la API només retorna fins a 20 ofertes, per treure la resta s’ha d’anar canviant el valor de ‘start’, amb valors múltiples de ‘count’:
    Exemple: Start=0 Count=20; start=20 count=20; start=40 count=20; etc
    Sort: DD (pinta ofertes en ordre descendent)

    3.- Exemple de query amb els paràmetres descrits aqui: https://api.linkedin.com/v1/job-search?country-code=ES&facet=date-posted%2C2013%2Cindustry%2C8&start=0&count=20&sort=DD

    4.- Per exteure la info de la API de Linkedin de manera automatizada, cal fer un script amb Python. En Julià passarà un codi exemple de scrappy que podrem fer servir per començar a provar.

    5.- De cara a la propera sessió, ens caldrà treballar:
    a) Autenticació per API Linkedin (per poder anar directe i no passar pel servei d’APIGEE)
    b) Adaptar la crida de python d’exemple de scrapy a fer les peticions a Linkedin

Deixa un comentari

L'adreça electrònica no es publicarà. Els camps necessaris estan marcats amb *