Community på Sveriges dataportal

@kristine_ Ja 13 kategorier låter kanske torftigt, kan inte dataleverantörer länka in begrepp från etablerade vokabulärer inom sina egna verksamhetsområden?

@jonor Det ser ut att finnas en egenskap i DCAT för koncept-referenser till skillnad från bokstavliga värden, men jag vet inte hur den används i praktiken, man ska gå via ett tillgängligt skos:ConceptScheme?

https://www.w3.org/TR/vocab-dcat-2/#Property:resource_theme

RDF Property: dcat:theme
Definition: A main category of the resource. A resource can have multiple themes.
Range: skos:Concept
Usage note: The set of skos:Concepts used to categorize the resources are organized in a skos:ConceptScheme describing all the categories and their relations in the catalog.

https://github.com/w3c/dxwg/issues/121#issuecomment-375074957

dcat:theme would always be preferred if a suitable SKOS ConceptScheme is available because you can more precisely test if different datasets are classified with the same skos:Concept, while dcat:keywords would involve text comparisons. But people still need to enter keywords as free text sometimes. Yes - more textual guidance is always helpful.

@kristine_ Ok, det är väl de här mojängerna i metadatan som hämtas in då, jag hade inte förstått att det handlade om nyckelord just. Istället för att rada upp översättningar av ämnesorden skulle man då kunna använda eller komplettera med identifierare som lät dataportalen söka och koppla nyckelord mer effektivt, oavsett de språk de angetts bokstavligt i.

<dcat:keyword>Myndigheten för digital förvaltning</dcat:keyword>
<dcat:keyword xml:lang="sv">Inköp</dcat:keyword>
<dcat:keyword xml:lang="en">Purchase</dcat:keyword>
<dcat:keyword xml:lang="sv">Leverantörsfaktura</dcat:keyword>
<dcat:keyword xml:lang="en">Supplier invoice</dcat:keyword>
<dcat:keyword xml:lang="sv">Anskaffning</dcat:keyword>
<dcat:keyword xml:lang="sv">Procurement</dcat:keyword>

@kristine_ Ok, innehållet kanske borde ses över lite i en del andra avseenden också.

En del fakturanummer verkar ha formaterats som talvärden med vetenskaplig notation.

Här en icke kredit-faktura med negativt belopp? Jag vet inte om sånt händer, men det var ett udda fall i posterna.

I samband med det undrar jag också om talformatet för kolumner finns angivna i metadatan, eller hur vet man vid maskin-inläsning om komma eller punkt används som decimalavgränsare?

Hej, jag tittade på leverantörsfakturor.csv från DIGG.

https://www.dataportal.se/sv/datasets/760_1544/leverantorsfakturor

Det verkar som textfilen har en systemspecifik kodning (Windows-1252 eller ISO-8859-1?).

I metadatan står att formatet är text/csv, men jag hittar inte någon information om teckenkodningen.

Webbadress för åtkomst
https://catalog.digg.se/store/1/resource/33
Format
Vanliga mediatyper
CSV (.csv)

Borde inte teckenkodningen vara UTF-8 eller anges uttryckligen i metadatan så att konsumenten kan avkoda innehållet korrekt?

Lade märke till också att frågan om en standardteckenkodning togs upp i utkastet till specifikation för badplatser som refererades i en annan tråd:

6 . CSV-formatet
Det enklaste formatet att stödja är CSV formatet enligt RFC4180.
Utöver det som sägs i RFC4180 krävs alltid att informationen är uttryckt med teckenkodning UTF-8.

@Kristine_ @salgo60 Hej, jag är inte helt med i vad det här exemplet med fältnamn på svenska i EU-dataportalen gäller. Är fältnamnen värden för något annat metadata-fält? Går det att förtydliga eller konkretisera var och hur problemet uppstår, t.ex. vad som skickas från dataportalen.se och var det hamnar i EU-datan, om det nu fortfarande är aktuellt?

@salgo60 sa i Identifierare och relationer:

@jonor det var ett infall jag hade.... jag hade kollat på data.europa.eu (EDP) se min Jupyter Notebook och dit skickar svenska dataportalen text strängar med språkkod vilket är helt fel 2021

Källan till exemplet från EU:s dataportal verkar inte fungera.
https://www.europeandataportal.eu/data/api/datasets/https-catalog-skl-se-store-1-resource-38.jsonld?useNormalizedId=true&locale=en

=> Parameter catalogue and useNormalizedID are both missing. Please set one of them.

@kristine_ sa i Identifierare och relationer:

. Det är lagkrav och något som vi och andra som publicerar till dataportalen ska förhålla sig till. Propertyn language kommer från W3C DCAT så återigen det är inte heller någon som DIGG har hittat på själva.

Propertyn language som refereras gäller för "Catalogued Resource", men det exemplifieras i definitionen med värden för titel eller beskrivning, inte för fältnamn.

https://www.w3.org/TR/vocab-dcat-2/#Property:resource_language

Definition: A language of the item. This refers to the natural language used for textual metadata (i.e. titles, descriptions, etc) of a cataloged resource (i.e. dataset or service) or the textual values of a dataset distribution

@tomasmonsen Är det inte så att man får en URI för datamängden när den registreras på dataportalen t.ex.? Då fungerar den kanske som ett beständigt prefix för "lokala id" som ni genererar för posterna som därigenom kan refereras universellt. (Nu spekulerar jag väl lite fritt, men det känns som något man vänder sig till en registermyndighet för.)

@jonor sa i Identifierare och relationer:

Det kan ju vara en övning att försöka hitta historiken i metadatan för dataseten.

Utgivningsdatum för ett dataset skulle isf. heta "issued" enligt DCAT?
Jag kan inte hitta det i metadatan från DIGG:s dataset.

https://docs.dataportal.se/dcat/sv/#dcat_Dataset-dcterms_issued

Egenskap http://purl.org/dc/terms/issued
Kravnivå Rekommenderad

https://admin.dataportal.se/store/760/metadata/1536?recursive=dcat
https://admin.dataportal.se/store/760/metadata/1544?recursive=dcat

@salgo60 Jag känner också att det kan behövas några veckor för att komma in i Refine, även om introduktionsvideorna var ganska bra. En del saker är svåra att komma på hur man ska göra även om man har en idé om vad man vill konceptuellt. Det verkar vara lite av en hybrid av UI och ett expression language API för mer avancerade operationer.

Jag får 2 träffar på dataset från DIGG på länken, Status och Leverantörsfakturor, men de kanske har ramlat in med två års mellanrum. Det kan ju vara en övning att försöka hitta historiken i metadatan för dataseten.

Hade hört talas om den artikeln på DN och tänkte försöka läsa den, det låter intressant. Hörde också om en annan debatt-artikel som tar upp att Sveriges som det verkar lite speciella decentraliserade administration har lett till en inofficiell centralisering.

https://www.dn.se/debatt/man-och-invandrare-borde-ha-prioriterats-i-vaccineringen/

DN DEBATT 24/4. Bo Rothstein
...
Som Riksrevisionens rapport gör klart leder denna ”uppgörelsestyrning” till minskad offentlig insyn och, som det nu med fatala konsekvenser visat sig, ”otydlig ansvarsfördelning”.
...
Riksrevisionens rapport slår fast följande: ”Många gånger har regeringens insatser syftat till att höja ambitionsnivån, men Riksrevisionen bedömer att dessa inte har inneburit nya åtaganden för kommuner och landsting.”

Intressant med sidan med täckningsgrad för egenskaperna, jag hade själv börjat tänka i de banorna hur man kunde få en översikt över hur komplett information är inom ett område.

@salgo60 Ja jag provkörde OpenRefine lite i dagarna, och det framstår som att en uttalad målsättning vid publicering av data borde vara att förebygga och undvika rekonsiliering/manuellt arbete med sammanställningar.

Alla instanser som arbetar med arkiv och register borde väl också vara fullt medvetna om nyttan med och användningen av referensnummer och standardiserade egenskaper, det måste ju tillhöra den grundläggande praktiken i den världen.

När det gäller ekonomidata är det kanske sämre med standardisering och identifiering av betydelser av olika fält, men det beror väl på ev. bakomliggande redovisningskrav också.

Med en referens för fältegenskapen skulle den ju enkelt kunna översättas till önskat språk.

Jag vet inte i vilken mån detta återspeglas i styrningen av offentlig datapublicering i dagsläget. Det borde kanske finnas någon form av beställarroll som checkar av att detta fungerar och tillgodoses i publicerade datamängder så man undviker onödigt arbete vid nyttjande.

Ex. på rekonsiliering i Refine:
https://youtu.be/5tsyz3ibYzk?t=205

@salgo60 Tack för bakgrunden, kul att veta hur det gjordes och bra insats med att registrera dataportalerna. Ja det går förstås att se historiken för när och hur en egenskap infördes och populerades på Wikidata, att den möjligheten finns är man ju inte riktigt van vid.

Jag såg också att det tidigare fanns en egenskap för "external data available at", men att den endast var definierad som ett textvärde snarare än en entitet som kan ha egenskaper i sig.

Det ser ut som det går att skapa egna etiketter för nya trådar i forumet.

Samtidigt som man skapar en tråd under en existerande huvudkategori kan man ju då lägga till en etikett för den kanal man vill samla inläggen inom, och senare nå den via sidan för "taggar", eller via etiketten i trådrubriken.

Exempelvis finns redan etiketter för NOSAD, Internetstiftelsen, regioner, kommuner m.fl.

Etiketter visas i inläggsrubriker:

@istyf Jag missförstod kanske här förresten, du pratar om primära identiteter och jag pratar om att länka informationen, och det är väl olika saker. Jag har inte sett riktigt att det skulle vara en huvudsaklig poäng att Wikidata stod för primära identiteter, men om det redan existerar lämpliga koncept kan det ju vara en fördel att uppmärksamma och koppla till dem, annars blir det väl någon successiv process där gemensamma koncept och identiteter etableras med tid.

@istyf sa i Hjälp folk att bada i sommar med Öppna Data! (Tips och hjälp behövs):

Tanken att det skall finnas en öppen databas som wikidata att referera till är god och jag stödjer den principiellt, men den är mer ideologisk än praktisk. Om vi tar Sundsvall (där vi båda bor) som exempel, så har offentligägda badplatser ofta flera identiteter eftersom de har olika egenskaper och utbredning vid olika tillfällen. Sommarbadet har en identitet, men den uppsågade vaken för vinterbad har en annan och det anordnade hundbadet i anslutning har en tredje. Wikidata eller OSM tar inte höjd för detta och kan inte vara huvudkälla för identiteter.

Här håller jag inte med riktigt, jag ser ett värde i att det finns en offentlig knytpunkt som binder ihop badplatser i Sundsvall t.ex., dit de olika fallen du räknar upp kunde kopplas och sökas fram om jag vill ha en lista över badinrättningar av olika typer och deras förekomst över tid. Allt man skulle vilja hitta i ett offentligt arkiv borde lämpa sig att lägga till ett övergripande register.

@ainali sa i Identifierare och relationer:

@jonor sa i Kategorisera API:er efter datasort:

Apropå trådämnet, har dataportalens API-register URI:er och kopplingar till Wikidata?

Vad tänker du att de ska koppla mot/länka till? Olika datasorter i Wikidata (exempelvis Q7300787 (realtidsdata) )?

Jag tänker mig t.ex. att det kan gå att hitta datamängder jag är intresserad av via Wikidata. Jag provade att söka efter kommunernas dataportaler och fick upp en lista där bl.a. Stockholms dataportal dök upp. Där kunde jag sedan leta vidare efter data.

https://w.wiki/3HTp

Sedan vore det intressant att veta om jag kan inkludera den nuvarande nationella dataportalen i sökningen också.

Dock ser ämnesmärkningen i de nationella portalerna ganska sporadisk och ojämn ut så långt jag sett. Jag föreställer mig att det kunde finnas möjligheter till friare kategorisering och koppling, och mer kraftfulla och enhetliga sökverktyg, om informationen finns representerad på Wikidata.

Jag tänker också på fallet där jag skulle vilja hitta datamängder av samma typ från Sverige och andra länder som jag skulle vilja göra jämförelser mot.

Jag vet inte hur informationen om kommunernas dataportaler hamnat i Wikidata, om det är av ideella krafter eller offentligt sanktionerat, men jag tycker det verkar värdefullt att den kan göras åtkomlig där för meta-sökning över spridda informationskällor.

Frågan om realtidsuppdateringar är väl också intressant. Samlas data in löpande till Wikidata från public service och andra som publicerar nyhetsartiklar och media t.ex.?

@jonor Började fundera över varför det inte skulle gå att länka till en sida i en PDF, och tydligen går det att använda URL-fragment för att ange en målsida, hade inte tänkt på det tidigare. Åtminstone verkar det fungera i Chromes PDF-läsare. Kan ju hända att ankarlänkar stöds också om mål är definierade i dokumentet. Det smidigaste vore ju att kunna referera till identifierade kapitel och avsnitt i dokumentet.

https://www.digg.se/4a3a77/globalassets/dokument/publicerat/publikationer/handlingsplan-oppna-data.pdf#page=17

Underbilaga 1. OURdata Index
Bilagan avser att redogöra vad OURdata Index är, hur indexet mäts och Sveriges
ranking inom respektive delindex.

@kristine_ Ok, tack. Såg nu att det nämndes en referens till den förra rapporten för det avsnittet. Dessutom hade jag missat att det fanns ett nyare index från OECD beskrivet i kapitel 7 där Sverige hamnat på sista plats. Förklaringen att det är kopplat till Sveriges decentraliserade administration är intressant.

Har ni funderat på att publicera rapporterna i ett format där man kan referera till avsnitt och delar i innehållet (om det inte finns), PDF:er är väl lite klumpiga i det avseendet när man manuellt får bläddra sig fram till angiven sida?

Det nya Digital Government Index är ett första försök att av OECD att mäta hur deras medlemsländer ligger till utifrån de riktlinjer som slås fast i deras Digital Government Policy Framework

Hej, Det är lite slående i rapporten att den jämförelse där Sverige ser ut att ligga sämst till saknar analys om orsaker? Övriga jämförelser i sammanfattningen har stycken om Sveriges placering och vad resultatet beror på.

Som jag ser det skulle det vara av särskilt intresse att läsa en sådan analys och kommentar om den jämförelse som indikerar att Sverige underpresterar på ett område.

https://www.digg.se/publicerat/publikationer/2021/digital-forvaltning-i-internationellt-perspektiv-2021

Industrivärldens samarbetsorganisation OECD (Organisationen för ekonomiskt samarbete och utveckling) publicerar vart annat år ett index om öppna offentliga data: OURdata Index (Open-Useful-Reusable Government data Index). Detta mäter och jämför länders politik på nationell nivå kring öppna offentliga data och hur den implementeras.

Digital förvaltning i internationellt perspektiv 2021
Denna rapport är en sammanställning av fem av de mest erkända internationella jämförelserna av den digitala förvaltningen i olika länder

Har tittat på 5stardata.info också, och de exemplen de länkar till för de högre nivåerna var inte så mycket att hurra för tycker jag. Jag gissar att man får en känsla för det när man själv börjar arbeta med och söka i den typen av data i praktiken.

@stefan-wallin Ja men videon tar upp att han skapar egna egenskapsnamn i form av URI:er med sitt eget domännamn som bas, det var mer apropå frågeställningen om att skapa identifierare.
https://youtu.be/FvGndkpa4K0?t=142

Jag förstår att Riksantikvarieämbetet håller reda på sina egna id-nummer, som refereras från Wikidata-objektet i ditt exempel, men jag förstår inte betydelsen av "lokala" i sammanhanget, innebär det att de inte är publicerade som URI:er, men kopplas till ett Q-nummer på Wikidata?