Community på Sveriges dataportal

Tack då vet jag hur jag ska gå vidare. Släpper en första version i december ser det ut som.

@Andreas-Sundberg sa i Frågor om metadatakvalitet och ev bugg?:

@josefinlassi sa i Frågor om metadatakvalitet och ev bugg?:

Ok @Andreas-Sundberg Ja, vi är medvetna om att det är svårt att förstå hur metadatakvalitet räknas ut, och vad man kan göra för att få upp resultatet. Det är fler som har påpekat det. Så du har helt rätt i att det behövs en insats från oss i att förtydliga det. Status är att frågan ligger i våran backlogg men att vi har varit tvungna att prioritera annat ett tag (bl.a. besvara mätningar från bl.a. både EU och OECD, remisser, uppstart av regeringsuppdrag mm). Och jag tror inte att det bara är en snabbfix som behöver göras kring MQA, utan antagligen ett lite större arbete. Vi skulle kunna bjuda in till ett möte om MQA för att reda lite mer i problembilden. Jag kan tyvärr inte säga exakt när det skulle kunna ske.

@josefinlassi Ja det var bara det här jag ville veta. Att det finns i en backlog och att det är planerat att åtgärdas.
Jag är gärna med på ett möte kring det så snart det finns tid och möjlighet hos er.

Jag är gärna också med på ett sånt möte, då jag irriterar mig på att jag inte når högre i kvalitet på min metadatabeskrivning trots att jag tycker att jag "har gjort allt". Det är OK att jag inte leder, däremot vill jag veta varför jag inte leder.

Har kört vår katalog i omgångar mot europeiska dataportalens valideringstjänster och får en del märkliga fel som jag tror är enkla att åtgärda, som är svåra att åtgärda och som jag inte förstår vad de betyder...

Ok så om jag summerar lite inför avrundningen av remissrundan på specifikationen Hundrastgårdar, är det att jag ska hitta på en persistent identifierare. Ingen kommun som jag har stött på har någon metodik för detta, för tombstones, för persistent länk/URI osv., alltså måste jag definiera hur man unikt skapar ett sådant ID.

Är lite osäker på vad det här MapComplete och det hundrastgårdskart-jobb som du verkar ha gjort jackar in här, men tycker mig tydligt se att kommuner behöver dela den data man har, t.ex. om hundrastgårdar, så att den kan fångas upp nära dataägaren/fastighetsägaren och propagera till andra tjänster.

Därför tycker jag mig ha förstått att jag ska gå vidare med dataspecifikaitonen och publicera den. Säg gärna emot, även om jag tror mig ha bestämt väg fram.

Jag går in i slutfas för att publicera en officiell version 1 under december månad.

@Andreas-Sundberg sa i Frågor om metadatakvalitet och ev bugg?:

Nej det är ju i hur verktyget för metadatakvalitet fungerar. Så det ligger nog hos er.
Du skulle prata med dina kollegor och sedan återkomma skrev du ovan.

@tomasmonsen hade samma problem eller hur Tomas?

Ja det stämmer, jag når inte upp till 100% hur hårt jag än jobbar på metadatakvaliteten och jag förstår inte varför. Behöver ha en återkoppling exakt på vad som är fel/vad som inte utvärderar sant.

@jonor sa i Frågor om metadatakvalitet och ev bugg?:

Passa på att beställ en aktivering av SPARQL samtidigt, så vi får ett standardiserat sökgränssnitt.
Eller blir det för kostsamt?

Hej nu är SparQL aktivierat, skedde nån gång kring maj om jag gissar rätt.

Nej men jag förstår och har nog egentligen förstått hur en PID/OID/UID/Stabil identifierare ska fungera på ett objekt, men det är några saker som jag tycker "saknas" för att det ska kunna etableras säkert för svenska datapublicerare är ett verktyg för detta.

1. Var finns registret, vem håller koll på om en instans av ID använts redan?
2. Om jag ska skapa en Tombstone, var ska den lagras?
3. Räcker det med en identifierare som ett GUID i hexadecimalt format i 128-bit längd?
4. Om inte 3 räcker, hur ska de då formeras för att vara unika över tid?

Det finns ingen infrastruktur, systemstöd eller metodik i kommuner för att skapa en sådant ID, annat än att så klart bara be om en GUID genererad från de verktyg som finns typ ; 550e8400-e29b-41d4-a716-446655440000
men räcker det?

Själv hade jag ju gärna sett en nationell databas för sådana IDn, men vem ska underhålla den? Jag förstår inte hur "organismen" öppna data ska fungera utan ett sådant centralt lager/nav där den här datan med länkning fungerar. Hur ska datamängd X veta om länken till datamängd Y eller entitet Y_n i dataset Y finns kvar eller inte? Hur ska man kunna prenumerera på ändringar och därmed undvika länkrötan?

Om det bara handlar om att få fram ett unikt ID så väljer jag ju en GUID från typ https://www.guidgenerator.com/ eller nåt liknande? Men finns det ett värde i att man vet hur och vad IDt på ett objekt kommer ifrån, kan spåra det i en egen databas eller länkcentrum, funkar ju inte det?

Just nu lutar jag åt att välja en GUID och så får det vara nog så?

Ok inte helt enkelt att följa med i det du skriver, kan vi kanske fokusera på PID som behövs i min dataspecifikation för hundrastgårdar så att jag kan beta av något enklare innan jag börjar fundera på det mer avancerade;

Jag behöver en unik persistent identiferare för hundrastgårdsspecifikationen - det behöver vara ett format som publicisterna kan förstå och producera. Hur gör vi?

Tidigare har varit godtyckligt "skapa en unik identifierare lite hur du vill, bara den är unik och inte återanvänds". Det känns trist att skriva en sådan beskrivning - hur ska jag göra för att vi ska enas om något enkelt?

Jag behåller gärna wikidata-referenserna/länkningsfältet, om du tror det är bra (ligger inte med nu tror jag i specen, men jag kan lägga tillbaka den?).

@tomasmonsen sa i Gemensam specifikation för Hundrastgård - hjälp oss förbättra!:

Vad jag säger är att det nog finns väldigt få kommuner som officiell kommer att skaffa konton och registrera data på OSM. OSM är ett projekt som om jag förstår rätt drivs av donationer på frivillig basis. Känns spontant inte som första val när en kommun eller myndighet ska publicera öppna data - därav att man valt skaffa egna metadatakataloger och låta dem skördas till dataportal.se ?

Här vill jag nyansera mig, jag menar inte att OSM inte är "seriöst", jag menar att det inte är en tjänst som jag hör kommuner prata om så ofta. Att vi som nation bidrar med mycket data dit förstår jag, men jag uppfattar det inte som en spelare som tar stor plats på kommuners arena, vilket kanske det borde?. Jag kan ha fel så klart, jag är ingen GIS-person, har jag fel rätta mig gärna

Har du tittat på de specifikationer som är publicerade, till exempel den för Lediga Tomter v2.0, är det schemat som ligger där inte bra nog?
Missförstår vi varandra när vi pratar om schema för validering, jag trodde det var det vi skapat?
Vi kanske ska lägga till RDF-schema om det vi har inte räcker, borde ju gå att generera automatiskt baserat på specifikation tänker jag.

@Magnus-Sälgö sa i Gemensam specifikation för Hundrastgård - hjälp oss förbättra!:

Jag tror tyvärr inte att kommuner kommer registrera sig på OSM och lägga data där

Kan nog vara så illa att man inte litar på kommunerna... så det som skulle kunna göras är att använda OSM Notes dvs. du lägger en anteckning att här säger vi att det finns xxxx

Lita på? Vad menar du?

Vad jag säger är att det nog finns väldigt få kommuner som officiell kommer att skaffa konton och registrera data på OSM. OSM är ett projekt som om jag förstår rätt drivs av donationer på frivillig basis. Känns spontant inte som första val när en kommun eller myndighet ska publicera öppna data - därav att man valt skaffa egna metadatakataloger och låta dem skördas till dataportal.se ?

Sedan vill man ha samma som

• så att kommunens data har unika persistenta identifierare
• så att kommunens data har samma som OSM / Wikidata och vice versa....

Är inte med riktigt här, du menar att de unika identifierarna/ID som skapas i OSM ska användas i kommunens data, så att man först måste skapa entiteten i OSM och sen använda det IDt i sin lokala data? Ska OSM eller Wikidata vara unika identifieraren/master för IDn ?

Som du kanske minns har jag tidigare löst länkning till Wikidata (som ju har ett eget identifierarsystem än OSM?) genom att man kan ange ett attribut, Q-koden, som då länkar samman datapunkten i kommunens dataset med entiteter skapade på Wikidata.

@Magnus-Sälgö sa i Dataportal Väst "kostsam funktionalitet i vårt öppna datasamarbete":

Regionala digitaliseringsrådets mötesprotokoll 2025-01-29 anges

I början av december beslutade VGR att ta bort en kostsam funktionalitet i vårt öppna datasamarbete, Dataportal Väst. Det finns en nationell dataportal där
man kan publicera, Dataportal Väst är främst en marknadsföringsplattform. Information om uppsägningen har gjorts i samverkansforum utan några
större invändningar.

Fråga: Någon som kan utveckla detta?

Dataportal Väst var ett "utsnitt" med branding från de kommuner och övriga publicister till dataportal.se som samlades på den sidan. En sorts "egen" ingång på katalogen dataportal.se. Datat som fanns där är samma som publicerades och publiceras på dataportal.se, ingen länkröta ska förekomma till datamängder eller enstaka dataset som alltså fortsatt ligger på samma platser som förut.

Det som togs bort var den "delkatalogen" samt delar av innehållet på webbplatsen, som nu är ersatt med en sektion på regionens sida om regional samverkan; https://www.vgregion.se/regional-utveckling/omraden/digitalisering/oppna-data/

@lmdaniel sa i Dataportal.se har stöd för Sparql-queries, visste ni det? :

@tomasmonsen, jättebra och användbart exempel

Jag vill bara puffa för att detta nämns i dokumentationen:
https://docs.dataportal.se/dcat/docs/sparql/

Tackar!
Ja det stämmer, men det tillkom tidigare i år, då funktionen aktiverades, så det är "ganska nytt" iaf Tror det dök upp i mitt synfält nån gång kring maj då jag skrev mina första trevande frågor.

@Magnus-Sälgö sa i Dataportal.se har stöd för Sparql-queries, visste ni det? :

Skall vi lita på web.archive.org så är första gången det hittades 2025 jan 13

Det kan säkert stämma, jag hittade sektionen i maj nångång första gången och började experimentera då, tror det kom i samband med en uppdatering av portalen.

@Magnus-Sälgö sa i Gemensam specifikation för Hundrastgård - hjälp oss förbättra!:

@tomasmonsen det viktiga är att några gör något ...

Men vad härligt, då har vi enats om att ta fram en specifikation är bra och att jag ska fortsätta det arbetet för alternativet är fortsatt publicering godtyckligt på webben i proprietära format som är ännu sämre?

jag tycker OSM fungerar riktigt bra – det tar mig bara ett par minuter att hämta ut data för hela Sverige/ Världen jmf att sitta och leta dataset från 290 kommuner... som troligen inte har liknande felrapportering...

Okej jag tänker att det kommer ta ett par minuter att slå mot dataportal.se och ställa en sparql-fråga och få fram ändpunkter för distributioner för hundrastgårdar?

Jag tror tyvärr inte att kommuner kommer registrera sig på OSM och lägga data där, det får vi hjälpa dom med, baserat på den data som är publicerat i våra datakataloger? Kan vi skriva ett script eller tjänst som konsumerar data från dataportal.se och publicerar den vidare till OSM med CRUD-funktionalitet?

Specifikationerna jag sett

• Ofta bara PDF:er.
• Det går inte att validera sitt data mot dom.
• Jag är tveksam till om det är levande dokument – jag har sällan sett en version 2.

Känslan är att de skrivs av konsulter, publiceras och sedan glöms bort. (Rätta mig gärna om jag har fel.)

Samtliga specifikationer jag har varit med och gjort är öppen källkod publicerad på Gitlab.

Samtliga specifikationer jag har gjort har ett schema för utvärdering i JSON-format. Visst måste du bygga valideraren själv, men underlaget för att göra utvärderingen finns? Detta kanske är ett förbättringsförslag till DIGG att utveckla validering enligt schemat i specifikationen för distributionerna?

Levande dokument ställer krav på att någon hör av sig och meddelar behov, vilket jag tyvärr ganska sällan upplever. Själv vill jag ju tro att det beror på att det är perfekt från början...... men i realiteten är det nog annat som påverkar, kanske saknas intresset och isåfall måste vi ju fråga oss varför? I exemplet lediga tomter blev det snabbt en version 2 när en behovsägare i form av en tjänstägare byggd på datat, hade funderingar och krav på förbättring - det kanske är den typen av behovsägare vi behöver fånga upp bättre.

När jag säger "vi" menar jag oss, alla, inte Dataverkstaden, inte DIGG, inte SKR - vi alla som jobbar med frågorna till daglig dags professionellt eller på frilansbasis.

Summa sumarum tveksamt om det finns någon som orkar leta runt bland 290 kommuner och fixa bra data.... om det skall vara så här tröttsamt...

...så nu tolkar jag att du ändå menar att det skulle vara bra med en definierad standard, publicerad på dataportalen, så du slipper göra webscraping på utspridda hemsidor med tveksam metadatakvalitet?

Stockholm skulle ju t.ex. kunna ta sitt data som inte följer någon fastställd specifikation, och publicerar den enligt den föreslagna "standarden" (handlar väl om att komplettera med några värden per rastgård) och så gör man ett sparql-fråga till datakatalogen, får fram alla ändpunkter och kan göra en sammanställning till din DOGPARK SWEDEN -tjänst utan att behöva webscrapa (eller kombinera de båda datakällorna?)

Jag får nyansera mig lite - i Sveriges digitaliseringsstrategi för 2025-2030 ingår det ju rätt tydliga skrivelser och uppdrag till Digg att jobba med öppna data som en värdeskapande och strategisk resurs för innovation, transparens och effektivitet.

Man ger DIGG i uppdrag att vidareutveckla portalen, ta fram plan för publicering av offentliga data, ge rekommendationer för hur datat ska tekniskt publiceras och uppdatera riktlinjer för standarder och programvaror som underlättar tillgängliggörande och publicering. Man trycker även på Interoperabilitet, öppna standarder i upphandlingar och för hur API ska fungera och se ut. Känns som det ligger i linje med dina (och mina) önskemål

Tycker nog att man går från klarhet till klarhet och att det är ett målmedvetet närmande till den ideala värld som jag nog tror att vi båda längtar till, när det kommer till öppna data.

Tyvärr är det ju så @Magnus-Sälgö att det du frågar efter nog inte kommer hända inom överskådlig framtid. Det är som att vi ska bestiga Mount Everest om du får som du önskar, men kommuner och offentliga organisationer försöker ta den breda vandringsleden uppför Tomtabacken, 377MÖH.

Tyvärr hör jag ganska sällan någon som pratar om att bygga en äkta digital tvilling - begreppet florerar ibland men är då ofta kopplat till GIS/3D-modellering och inte jättemycket kring det datadrivna, iaf inte i de kretsar jag rör mig och ganska få aktörer har något verkligt att visa upp som är bredare än kanske en fastighet, ett kvarter eller en enhet/processanläggning - kommunen i stort - nej.

Skulle tippa på att en del kommuner i Sverige inte ens har en Öppna Data-ansvarig utpekad, ingen Öppna Data -metadatakatalog och inget systematiskt arbete alls kring informationsförsörjning internt (och än mindre externt). Man håller näsan över ytan. För att nå det du önskar krävs breda förändringar nationellt, kanske rent av lagförändringar.

Jag tänker att om 10% av Sveriges kommuner publicerar sina hundrastgårdar i en officiell nationell katalog, enligt ett specifikt fastställt och överenskommet format, så kanske de 760 hundrastplatser du fått fram kan växa till 960 och det är väl bättre än inget alls?

Jag tänker även att om kommuner hittar enkla, ofarliga datamängder som ger ett direkt värde till invånare (exempelvis i min hemkommun), som är lätta att ta fram och underhålla, så bryter man långsamt ner ointresset kring Öppna Data och konverterar skepsis till något verkligt - Om du som kommun vågar publicera ofarliga saker, så kanske du femte eller sjätte gången vågar publicera något som känns lite jobbigare - som fakturor till exempel?

Jag tycker det känns trist att vi inte ska göra något alls, för att det vi gör är för dåligt - Är du med på hur jag tänker?

Jag vet inte riktigt vad det är du ber om, Magnus, att jag ska slopa specen och göra något på OSM istället? Specifikationen syftar ju till att kommuner (och privata markägare) ska publicera sin data, där tror jag iaf att de metadatakataloger som kommunerna har känns "närmare" än OSM för dataägaren.

De sista hundrastgårdarna där på Wikidata har jag lagt upp

@Magnus-Sälgö sa i Dataportal.se har stöd för Sparql-queries, visste ni det? :

Trevligt man kan undra varför detta inte beskrivs så folk kunnat använda tidigare....

Sökning dom ggr "SPARQL dataportalen" diskuterats på forumet verkar som det snackats om sedan 2022.... Huston Huston...

Ja det är relativt nytt, jag upptäckte detta i somras när jag hackade runt lite - man har tillfört denna funktion nyss och kanske inte varit jättetydlig med att annonsera det. Jag tänkte att jag kunde hjälpa till med detta inlägg.

Troligen kan vi ordna nån tråd med steg-för-steg för att kunna nyttja funktionen framöver, jag vet ju att du är händig med SparQL och själv är jag glad entusiast

Jag har föreslagit att detta tas upp i dokumentationen för plattformen och jag vet att @josefinlassi är "på" det, visst är det så, Josefin?

Halloj!
@MelissaNilsson har i egenskap av hundägare konstaterat ett antal saker (och jag höll med, fast jag inte har nån egen jycke!);

• Det finns för få hundrastgårdar
• Det borde kunna byggas hundratals nya årligen...
• Vi kan inte få hundratals nya, så varför inte försöka få de som finns att synas bättre?

Vi skrider till verket
Sagt och gjort så satte vi oss ner och knåpade ihop en specifkation för hunrastgårdar, något som efterfrågades lokalt i Skara kommun där jag jobbar, då denna information inte finns lätt tillgänglig för kontaktcenter - som får ta emot allmänhetens frågor. I Skövde kommun finns datat publicerat externt på karta, men då inte baserat på en öppen standard - en tjänst eller app som listar hundrastgårdar kan därför inte skapas effektivt - detta vill vi råda bot på!

Specifikationen som utkast
...innehåller några fasta attribut som är obligatoriska, och resten frivilliga, som vanligt. Vi följer WGS84 EPSG4326 för att rita ut en centrumpunkt för rastgården, eller en omslutande polygon, vilket ju har både fördelar och nackdelar, men då vi räknar med att kunna publicera som GeoJSON är det detta koordinatsystem som är standard.

Så här har vi tänkt strukturen och attributen

Vi behöver hjälp
Hjälp oss att korrekturläsa, lämna feedback och synpunkter på arbetet så här långt.

Gör nåt av detta för att skicka in ett issue:

• Maila till följande adress: incoming+sarskilt-viktiga-datamangder-dog-parks-74556404-d9dkncxatz3ab6hbk0vgs2bzy-issue@incoming.gitlab.com
• Skriv direkt här i tråden

Tack på förhand!

Hej tänkte bara meddela att en feature som inte fanns för inte allt för länge sen, nu finns... SparQL queries går att köra mot portalen! (Kan vara old news, jag kanske är sist på bollen ... men men )

Vad är ditt case, Tomas?
...jo jag behövde få fram en lista på alla som publicerar data enligt en viss specifikation. I mitt fall gäller det Lediga Tomter. Vilka i katalogen publicerar enligt "Lediga Tomter 2.0" - kan jag få fram en lista med ändpunkter att slå vidare mot i min applikation, slipper jag sitta och "bläddra" i Dataportal.se.

Hur kör man script mot dataportal.se som SparQL?
Jag använder en enkel webbtjänst YASGUI (https://yasgui.org) som låter mig experimentera, lite som Postman.

Vad är ändpunkten för Sparql-queries?
https://admin.dataportal.se/sparql

Visa mig ett exempel på script som du kör då?

PREFIX dcat: <http://www.w3.org/ns/dcat#>
PREFIX dct: <http://purl.org/dc/terms/>

SELECT ?dataset ?distribution ?url ?organisation
WHERE {
?dataset a dcat:Dataset ;
dct:conformsTo <https://dataportal.se/specifications/ledigatomter/2.0> .
?dataset dcat:distribution ?distribution .
?distribution dcat:accessURL ?url .
?distribution dct:format ?format .
FILTER (str(?format) = "text/csv") .
?dataset dct:publisher ?organisation .
}

...och resultatet? (exempel från yasgui.org

...i Yasgui kan du få restultat som Json, tabell osv. Du kan även köra scriptet som ett URL-anrop direkt i webbläsaren om du vill:

https://admin.dataportal.se/sparql?query=PREFIX%20dcat%3A%20%3Chttp%3A%2F%2Fwww.w3.org%2Fns%2Fdcat%23%3E%0APREFIX%20dct%3A%20%3Chttp%3A%2F%2Fpurl.org%2Fdc%2Fterms%2F%3E%0ASELECT%20%3Fdataset%20%3Fdistribution%20%3Furl%20%3Forganisation%0AWHERE%20%7B%0A%20%20%3Fdataset%20a%20dcat%3ADataset%20%3B%0A%20%20%20%20%20%20dct%3AconformsTo%20%3Chttps%3A%2F%2Fdataportal.se%2Fspecifications%2Fledigatomter%2F2.0%3E%20.%0A%20%20%3Fdataset%20dcat%3Adistribution%20%3Fdistribution%20.%0A%20%20%3Fdistribution%20dcat%3AaccessURL%20%3Furl%20.%0A%20%20%3Fdistribution%20dct%3Aformat%20%3Fformat%20.%0A%20%20FILTER%20%28str%28%3Fformat%29%20%3D%20%22text%2Fcsv%22%29%20.%0A%20%20%3Fdataset%20dct%3Apublisher%20%3Forganisation%20.%0A%7D

...ja de tär lite svårläst, men funka om du t.ex. kör script i Powershell, Python eller anropar via FME kanske? There is no end to the possibilities.....

Svaret filtrerar jag sen, eller stukar om min fråga, så att jag t.ex. bara får ut URL om jag inte behöver mer metadata. Sen mosar jag in listan på URL till FME som slår mot dem och hämtar ut datat som jag sen kan använda vidare.

Fördelen?
...är att jag alltså får ut en dynamisk lista - så fort någon lägger till en distribution på dataportal.se som pekar ut Lediga Tomter 2.0 -specfikationen, så kommer min lista att fyllas på med den. Detta kan man alltså även använda för att sätta ihop statistik om hur många som nyttjar gamla och nya specifikationen t.ex.

Jag håller på att försöka, på lediga stunder, stäta samman en enkel formatkontrollerare, som ställer en Sparql-fråga, hämtar hem alla URL till distributioner, laddar dessa distributioners data och utvärderar dem mot schemat för distributionen - de som inte matchar hamnar i en fel-lista som man kan använda för att hjälpa dataägaren förbättra kvaliteten på sin data (t.ex. felaktiga filformat, kolumnindelning, datatyper, obligatoriska fält som saknas osv).

Hej så här ser det ut när jag bläddrar till organisationer i översikten per dataset;

Detta stämmer inte, Titel är angiven enligt dcat/dct och den lokala katalogen Entryscape har attributet satt enligt nedan, dessutom med två språk. Detta går igen på flera organisationer är inte unikt för Skara kommun.

Vilket attribut försöker dataportal.se koppla till "titel" och misslyckas tro?