Community på Sveriges dataportal

Under avsnittet om Begrepp om data ligger begreppen i dubbel uppsättning.
(https://www.dataportal.se/ordlista-med-begrepp-for-dataforvaltningsforordningen#begrepp_om_data)

Hej alla! Nu är vi på Digg tillbaka på arbetet och drar igång 2025 Vi hoppas och tror att året kommer att bli spännande, både med nyheter från oss och inspel från er, och alla intressanta diskussioner som kommer av det.

Vi ses!
Mvh/Digg

Hej,
Communityt kommer att vara stängt för nya inlägg och för att kommentera på andras inlägg under jul-och nyårsledigheten, från den 23 dec till den 7 jan. Ni kan fortfarande läsa allt som är postat sedan tidigare.
Anledningen är att vi har begränsat med resurser för att moderera communityt på ett tillräckligt bra sätt under storhelger och längre ledigheter.

Ni är varmt välkomna med nya inlägg och kommentarer den 7 januari!

Vi önskar alla en härlig jul och nyår!
/Digg

Bolagsverkets skördare till dataportal.se stödjer inte DCAT-AP-SE 3.0 så jag kan inte sätta en Kategori för värdefulla datamängder https://docs.dataportal.se/dcat/sv/#5.5

Vi lanserar ett API för Värdefulla datamängder 2 februari 2025 som skulle behöva ha http://data.europa.eu/bna/c_a9135398 i 5.5. Skördaren hinner vi inte fixa till dess.
Om jag lägger upp API:et utan 5.5 Kategori för värdefulla datamängder, finns det någon admin som kan peta in det då?
Eller måste jag se till att fixa problemet på min sida?

Här kommer novembers nyhetsbrev.

Swedish JobTech presenterar branschrapporten Insikt JobTech 2024, som lyfter aktuella trender och utmaningar inom arbetsmarknaden. Rapporten samlar insikter och rekommendationer från aktörer nära arbetsmarknaden, med fokus på teknikutveckling, kompetensförsörjning och hållbara lösningar. Syftet är att bidra till en datadriven utveckling där individens behov står i centrum. Till rapporten..

Nu har vi publicerat en rykande het lägesrapport från dataverkstaden. Det är mycket som händer just nu, så passa på och uppdatera dig på läget;

https://www.vgregion.se/ov/dataverkstad/aktuellt/lagesrapport-for-den-nationella-dataverkstaden-november-2024/

Jag söker regelbundet efter nya datakällor genom att söka med olika nyckelord. Tyvärr är det inte lätt att avgöra när det har kommit nya om sökorden ger många träffar. Finns det något sätt att prenumerera på förändringar och därigenom få notifieringar när det kommer nya träffar? Dvs en bevakning på förändringar av mina sökningar.

Kolla in det här spännande jobbet: https://jobb.internetstiftelsen.se/jobs/5103930-iot-projektledare
Ur annonsen:
Internetstiftelsen har fått ett uppdrag av styrelsen för det av Vinnova, Formas och Energimyndigheten finansierade 12-åriga programmet Internet of Things Sverige (IoT Sverige). Uppdraget innebär att utreda förutsättningarna för att genom ett konsortium fortsatt samordna IoT-relaterade frågor i Sverige efter att programmet avslutas. Uppdraget bedrivs som ett projekt och i samverkan med programkontoret för IoT Sverige.

Från Diggs perspektiv är det här väldigt positivt, och det här är en roll som åtminstone jag kommer att vilja prata med om delning och användning av IoT data

Hej!

På senare tid har det uppkommit bättre förutsättningar för att nyttja Öppna Data:

• Dataportal - för att hitta data
• Specifikationer - för att ensa datamodellerna som beskriver samma sak
• APIer - för maskininläsning av data

Av den anledningen var jag intresserad av att titta på hur upplevelsen för en datakonsument ser ut idag. Det vill säga, hur enkelt är det för en part att integrera och konsumera datat; vilka eventuella hinder och svårigheter möter den utvecklare som avser att bygga en samhällsnyttig tjänst baserat på Öppna Data?

Studien är inte akademisk på något sätt utan enbart en enklare analys.

För studien behövdes ett lämpligt användningsfall och valet föll på datamängden Badplatser då:

• Den har en öppen specifikation
• Ett flertal dataproducenter har valt att publicera data enligt specifikationen
• Ett relativt stort antal olika publiceringar finns att finna via Dataportal.se
• Många av datakällorna är APIer som publicerar datat enligt JSON

I och med detta finns alltså förutsättningar för att hitta och samla in enhetligt data.

I Dataportalen hittade jag 20 publiceringar av Badplatser som kan hämtas via API på JSON-format och som enligt metadatat uppfyller specifikationen https://www.dataportal.se/specifications/badplatser/1.0

Nedan presenteras resultatet av integration mot dessa ovan nämnda resurser.

Den initiala upplevelsen var minst sagt nedslående då ingen av resurserna tillhandahöll data enligt utlovad specifikation.

Majoriteten av API-resurserna är baserade på något som benämns RowStore och verkar vara en del av produkten EntryScape från företaget MetaSolutions AB. All JSON-data från dessa resurser returneras som helt otypat data i konflikt med specifikationen.

Förklaring:
I specifikationen har varje datafält en typ definierad; t.ex. att ett namn är en sträng, en koordinat är ett decimaltal, ett tillstånd som är sant eller falskt är en boolean (true|false) o.s.v.

{
    "place_id":  "1477-Hattarevik", //sträng
    "latitude":  58.787, //decimaltal
    "toilet":  true //boolean
}

Med otypat data så returneras samtliga datafält som godtyckliga strängar, ex:

{
    "place_id":  "1477-Hattarevik", //sträng  
    "latitude":  "58.787", //sträng  
    "toilet":  "true", //sträng  
}

Det är fortfarande läsbart för en människa men JSON-formaterat data är avsett för maskin och nu är datat fullkomligt oanvändbart eftersom samtliga datafält bara innehåller fritexter.

Det vore ju dock tråkigt att avbryta denna analys så här tidigt på grund av APIernas begränsningar. Därför bearbetade jag allt data och konverterade typerna för alla datafält enligt definitionerna i specifikationen för att komma vidare. Härmed kan vi nu titta på datakvaliteten för varje enskild datapost.

Av 156 insamlade och typkonverterade dataposter (badplatser) så visade det sig nu att endast 31 stycken av dessa innehöll korrekt data.

Med andra ord så är det 125 av 156 dataposter vars data inte kan tolkas, det kan t.ex. vara:

• Icke kompletta dataposter som förmodligen inte ens avser att beskriva en faktisk badplats, det är bara skräp.
• Datafält innehåller text-värden som inte går att typkonvertera till aktuell typ.
• Dataposter innehåller datafält med felaktiga namn, d.v.s. som inte matchar specifikationens obligatoriska datafält.
• O.s.v.

Även detta resultat är nedslående, att merparten av allt data har så dålig kvalitet att det inte alls är användbart.

För att sammanfatta denna analys och svara på dess frågeställning:

• Att hitta alla datakällor var relativt enkelt tack vare Dataportal.se. Det hade dock varit önskvärt om det gick att filtrera dataset på metadatafältet “Uppfyller” (ConformsTo) (om det redan går så hittade jag i alla fall inget stöd för det i sökfunktionen och inte heller någon dokumentation om hur det eventuellt kan göras).
• Att integrera mot ett stort antal olika datakällor är förstås något krångligt och tidsödande, men görbart.
• Att datakällorna inte returnerar korrekt formaterat data är katastrofalt ur ett integrationsperspektiv och förtar hela syftet med ett API.
• Att dataposterna har så extremt dålig datakvalitet gör att användningen av detta Öppna Data är omöjlig.

Upplevelsen för mig som integratör mot dessa resurser var onekligen mycket dålig. Hindren var många och ofta oöverstigliga. Möjligheterna att samla in enhetligt data för vidare förädling och eventuell utveckling av nya tjänster är dessvärre obefintliga.

Metadatakatalog och specifikationer i alla ära, men med undermåliga gränssnitt och ingen kontroll på datakvalitet så innebär dessa publiceringar av Öppna Data tyvärr enbart kostnader och tillför inget som helst, eller högst begränsat, faktiskt värde.

Med vänlig hälsning, Magnus