Community på Sveriges dataportal

@Magnus-Sälgö

Tycker inget annat än er. Provade att "hacka lite", gick igenom 15 kommuners webbsidor. Relativt "lätt" att sammanställa informationen trots att den är ostrukturerad. Självklart är bra strukturerad data det bästa. Men ibland måste man skrapa.

curl --silent https://start.stockholm/om-stockholms-stad/politik-och-demokrati/stockholms-stads-anslagstavla/ | htmlq a --attribute href -b https://start.stockholm

Resultat för Stockholm, tror inte det är omöjligt att sammanställa alla kommuners data strukturerat med lite skrapning.

https://start.stockholm/om-stockholms-stad/politik-och-demokrati/stockholms-stads-anslagstavla/anslag/2022/8/kungorelse-om-flyttade-fordon-den-12-augusti-2022/

https://start.stockholm/om-stockholms-stad/politik-och-demokrati/stockholms-stads-anslagstavla/anslag/2022/8/kungorelse-om-flyttade-fordon-5-augusti-2022/

https://start.stockholm/om-stockholms-stad/politik-och-demokrati/stockholms-stads-anslagstavla/anslag/2022/8/sodermalms-stadsdelsnamnd-sociala-delegationens-protokoll-for-den-2-augusti-2022/

https://start.stockholm/om-stockholms-stad/politik-och-demokrati/stockholms-stads-anslagstavla/anslag/2022/8/rinkeby-kista-stadsdelsnamnds-protokoll-for-den-12-juli-2022/

https://start.stockholm/om-stockholms-stad/politik-och-demokrati/stockholms-stads-anslagstavla/anslag/2022/7/kungorelse-om-flyttade-fordon-den-29-juli-2022/

https://start.stockholm/om-stockholms-stad/politik-och-demokrati/stockholms-stads-anslagstavla/anslag/2022/7/sodermalms-stadsdelsnamnd-sociala-delegationens-protokoll-for-den-26-juli-2022/

https://start.stockholm/om-stockholms-stad/politik-och-demokrati/stockholms-stads-anslagstavla/anslag/2022/7/kungorelse-om-flyttade-fordon-den-22-juli-2022/

https://start.stockholm/om-stockholms-stad/politik-och-demokrati/stockholms-stads-anslagstavla/anslag/2022/7/kungorelse-om-flyttade-fordon-den-15-juli-2022/

https://start.stockholm/om-stockholms-stad/politik-och-demokrati/stockholms-stads-anslagstavla/anslag/2022/7/kungorelse-om-flyttade-fordon-den-8-juli-2022/

https://start.stockholm/om-stockholms-stad/politik-och-demokrati/stockholms-stads-anslagstavla/anslag/2022/7/kungorelse-om-flyttade-fordon-den-1--juli-2022/

https://start.stockholm/om-stockholms-stad/politik-och-demokrati/stockholms-stads-anslagstavla/anslag/2022/6/kungorelse-om-flyttade-fordon-17-juni-2022/

https://start.stockholm/om-stockholms-stad/politik-och-demokrati/stockholms-stads-anslagstavla/anslag/2022/6/kungorelse-om-flyttade-fordon-10-juni-2022/

https://start.stockholm/om-stockholms-stad/politik-och-demokrati/stockholms-stads-anslagstavla/anslag/2022/6/kungorelse-om-flyttade-fordon-den-3-juni-2022/

https://start.stockholm/om-stockholms-stad/politik-och-demokrati/stockholms-stads-anslagstavla/anslag/2022/5/kungorelse-om-flyttade-fordon-27-maj-2022/
https://start.stockholm/om-stockholms-stad/politik-och-demokrati/stockholms-stads-anslagstavla/anslag/2021/4/kungorelse-om-flyttade-fordon-den-30-april-2021/

https://start.stockholm/om-stockholms-stad/politik-och-demokrati/stockholms-stads-anslagstavla/anslag/2021/3/enskede-arsta-vantors-stadsdelsnamnds-protokoll-for-den-18-mars-2021/

https://start.stockholm/om-stockholms-stad/politik-och-demokrati/stockholms-stads-anslagstavla/anslag/2021/3/stockholms-fastighetsnamnds-protokoll-for-den-9-mars-20212/

https://start.stockholm/om-stockholms-stad/politik-och-demokrati/stockholms-stads-anslagstavla/anslag/2022/5/kungorelse-om-flyttade-fordon-27-maj-2022/

https://start.stockholm/om-stockholms-stad/politik-och-demokrati/stockholms-stads-anslagstavla/anslag/2022/6/kungorelse-om-flyttade-fordon-den-3-juni-2022/

https://start.stockholm/om-stockholms-stad/politik-och-demokrati/stockholms-stads-anslagstavla/anslag/2022/6/kungorelse-om-flyttade-fordon-10-juni-2022/

https://start.stockholm/om-stockholms-stad/politik-och-demokrati/stockholms-stads-anslagstavla/anslag/2022/6/kungorelse-om-flyttade-fordon-17-juni-2022/

https://start.stockholm/om-stockholms-stad/politik-och-demokrati/stockholms-stads-anslagstavla/anslag/2022/7/kungorelse-om-flyttade-fordon-den-22-juli-2022/

@mistral Har samma fundering! Kan tipsa om ett nytt dataset (utan att sno tråden) af/jobtech har släppt som kanske är liknande. Vilka sökningar utförs i platsbanken på en daglig basis. https://data.jobtechdev.se/annonser/search-stats

Vi började enkelt och skapade en array:

[
     "stockholms län",
     23394
   ],
   [
     "undersköterska",
     22567
   ],
   [
     "personlig assistent",
     21287
   ],
   [
     "lagerarbetare",
     19452
   ],
   [
     "butikssäljare",
     17083
   ],
   [
     "barnskötare",
     15337
   ],
   [
     "göteborg",
     14610
   ],
...]

@Magnus-Sälgö Tycker att https://github.com/publiccodeyml/publiccode.yml är rätt väg för metadata (namn, beskrivning, licens etc) avseende programvaror. Om alla offentliga organisationer som delar källkod/programvara öppet också producerar denna fil (publiccode.yml) så blir det bra! Vid en första anblick låter det bra med en identifierare för den enskilda programvaran, tycker vi kan införa det sakteligen, först vill jag dock att vi hittar ett sätt att identifiera de organisationer som publicerar programvarorna. Jämförelsen med öppna data skulle vara att alla ska ange en organisation enligt DCAT, men vad jag kunde se sist var att de flesta rapporterar organisation som en textsträng. Kanske räcker med ett orgnummer för denna katalog, men det hade varit kul om vi kunde bygga en persistent identifierare med Bolagsverkets goda vilja.

Tycker ni krånglar till frågan lite. Denna rekommendation är bra: https://www.esamverka.se/download/18.1d126bc174ad1e6c39c6df/1464273265830/Riktlinjer för myndigheters användning av sociala medier 1.0.pdf. En myndighet behöver se alla dialoger som allmänna handlingar men de behöver inte diarieföras utan bara hållas ordnade. Det ni har bevisat är att DIGG har koll på sina ordnade handlingar och det är tydligt när Björn har skrivit något och när DIGG har responderat något. Fortsätt precis som innan.

@jonor Vi (Arbetsförmedlingen) har nog fokuserat mer på innehållet/datasetet än metadata om oss som utgivare. Gissar att det kanske krävs en konvention och ett bra exempel på hur data om utgivaren kan/bör se ut för att vara meningsfull för användaren. Granska gärna arbetsförmedlingen när du ändå är i farten! Kan inte släppa tanken på att Bolagsverket borde vara master för organisationer, borde alla ha en bakåtreferens (URI) till de också, typ https://bolagsverket.se/bolag/orgnummer eller dylikt?

@nina_ Längst ner på sidan, https://nosad.se, finns en länk "var med och koda sajten" som leder till dokumentationen. Issuetrackern ska vara påslagen för projektet. Prova gärna igen och berätta vad som inte fungerar.

@jonor Många upplever att det är lite enklare när det finns en "startsida" är min uppfattning. Visst material kanske kan flyttas in, men överlag försöker jag bara lyfta in det mest viktiga materialet på startsidan och länka till övrigt material. Personliga preferenser gör att jag tycker utvecklingen går lite snabbare i gohugo än exempelvis några statiska sidor i html/bootstrap som skulle vara alternativet. Har funderat på https://ghost.org/docs/ som en bra plattform för nosad.se om vi skulle vilja att flera kan skapa innehåll.

Tycker att system som utvecklas och förvaltas av det offentliga bör vara så kostnadseffektiva som möjligt i alla lägen. Kostnaden för nosad.se är några få arbetstimmar som jag har lagt ner på sajten på ett år. Tycker att det är en mycket viktig princip att inte lägga ner för mycket tid/resurser/SEK innan ett värde kan påvisas. Nu har nosad.se funnits i ett år och hundratals personer har deltagit i de digitala workshoparna, det är rätt läge att diskutera tillägg som kan skapa nytta.

• datumsorterade inlägg
• lista innehållsförteckning
• kategorisera inlägg under olika ämnen
• enklare sajtstruktur så fler kan bidra

Tänker att det kan vara läge att börja använda issuetrackern så flera kan rösta och diskutera innan vi utvecklar något. Vad tror du om det @jonor ?

@jonor Intressant. Framförallt tycker jag det är bra diskussion eftersom det finns intresse av att komma med bidrag som ändringar, rättningar eller nya sidor etc. Dock vet jag inte riktigt vad behovet är, så vi skulle behöva diskutera om det går att göra något för att flera ska kunna bidra.

1. Ett förslag är att vi gör en LIVE-sändning/videomöte om det finns intresse där vi går igenom sajten och gör några ändringar LIVE, typ den @Dennis_Priskorn föreslår.

2. De tekniska målet har varit att sajten ska vara kostnadsfri och i princip underhållsfri. Jag skulle vilja ha kvar de målen även om tekniken behöver bytas.

3. Den svåra frågan är att jag tror att det finns många som skulle kunna skriva artiklar etc men få som är redo att "checka" in dessa artiklar i gitlab. För att verkligen "öppna upp" för bidrag tror jag att det måste finnas ett grafisk gränssnitt där innehållsskaparen kan logga in och skriva artiklar. Det tar mig emot att skriva dessa meningar, men idag finns det nog inga redaktörer/kommunikatörer/chefer/jurister/strateger som överhuvudtaget jobbar med git/markdown.

@jonor Använder https://gohugo.io/ för att generera en statisk sajt.

git clone https://gitlab.com/open-data-knowledge-sharing/open-data-knowledge-sharing.gitlab.io.git
cd gitlab.com/open-data-knowledge-sharing/open-data-knowledge-sharing.gitlab.io.git
hugo serve
surfa in på http://localhost:1313/

Eventkalendern:
https://gitlab.com/open-data-knowledge-sharing/open-data-knowledge-sharing.gitlab.io/-/blob/master/layouts/partials/fragments/sample-custom-fragment.html

Inspelningar:
https://gitlab.com/open-data-knowledge-sharing/open-data-knowledge-sharing.gitlab.io/-/tree/master/content/_index/videos

Innehållsförteckning:
Ett förslag skulle kunna vara att lägga till ett custom-fragment, typ: https://gitlab.com/open-data-knowledge-sharing/open-data-knowledge-sharing.gitlab.io/-/blob/master/content/_index/custom.md

Gohugo är smidigt för att skapa bloggar och enklare webbsidor. Överlag är det väldigt lite underhåll (någon minut i månaden) för att driva en sajt. Gör det enkelt att fokusera på innehåll. Säg till om du har några förslag vi kan utvärdera!

@nilsw-ra För jobtechdev.se (Arbetsförmedlingens öppna data) använder vi nedan arkitektur för att samla in och indexera loggar. Överlag är det en enkel och skalbar modell. Vi försöker att undvika att logga personuppgifter på användaren i största möjliga mån.

https://www.elastic.co/beats/filebeat -> https://www.elastic.co/logstash/ -> https://www.elastic.co/elastic-stack/

Sen har automatiserade rapporter som skapas varje dag som innehåller, antal anrop, antal användare, tillgänglighetsstatistik etc. Dessa läggs i en tråd i vårt chattverktyg mattermost. Så varje morgon 08:00-0805 uppdaterar vi oss på "hälsan" för våra API:er.

@jonor Är bra (borde kanske vara ett skall-krav) att alltid överväga ett öppet alternativ vid ett systeminförande i offentlig sektor.

Just ärendehantering är något alla offentliga aktörer måste vara bra på för att kunna uppnå en god förvaltning. Det finns såklart skillnader mellan myndigheter i ärendehandläggningen, men ge och ta, ett öppet ärendesystem som alla kan bidra till och använda borde ha en enorm potential.

Sen gissar jag att utmaningar inte riktigt handlar om val av programspråk etc vid dessa typer av införande. Att forma gemensamma arbetssätt i verksamheter som ofta är baserade på att tusentals handläggare ska göra komplexa bedömningar är svårt.

@nina_ Vet ej. Tror det har funnits lite olika försök med RPA-lösningar.

@jonor Tänker att det är plattformen Pega som åsyftas.

@lfvjimisola Förslaget är EN lista där alla programvaror är beskrivna enligt standarden https://github.com/publiccodeyml/publiccode.yml.

Migreringen är påbörjad:
https://gitlab.com/open-data-knowledge-sharing/publiccode.yml/

Enklaste är att maila Johan L ( johan.linaker [at] ri.se ) tillsvidare för att lägga upp nya programvaror tills det finns ett admin-gränssnitt (ui).

Med det sagt ska innehållet i ovan wiki migreras till det nya formatet så att det inte finns två listor, precis som du påpekar. Om någon editerar wiki-sidan får vi hantera det manuellt tills sidan kan stängas ner och ersättas av https://offentligkod.se

Ett bra communitycall vore om någon vill vara med och hacka ett enkelt webb-formulär för skapa beskrivningar enligt formatet https://github.com/publiccodeyml/publiccode.yml så att alla kan lägga in programvaror enkelt.

Kollade en gång till. Du ska nog rådfråga UHR. Men, prova:

https://www.uhr.se/api/antagningsstatistik/searchTotal?searchfor=systemvetenskap&searchterm=HT21&searchkategori=&pagesize=1000&page=1&tillfalle=urv2

Verkar ge det du efterfrågar i JSON som används på sidan innan.

@lennartjohansson Jag provade också lite fort, verkar inte finnas någon naturlig endpoint. Excel-exporten verkar antyda ett "api" på något sätt dock, https://www.uhr.se/api/excel/utbildning?utbildningId=. Tror vi får fråga UHR om nästa steg.

@stefan-wallin Om jag får försvara Nina och Josefin lite så förstår jag mycket väl vilken oro de återspeglar. Många inom offentlig sektor är oroliga för att göra fel kopplat till schrems ii etc. Konkret är Gitlab:s servrar uppsatta inom de amerikanska gränserna.

I min roll på Arbetsförmedlingen/JobTech jobbar vi hårt med att synliggöra våra produktbehovslistor på https://gitlab.com/groups/arbetsformedlingen/-/issues.
Jag hoppas inte dagen kommer då vi blir tvungna att sätta upp gitlab.arbetsformedlingen.se. Finns en stor styrka i att kunna nyttja befintliga plattformar som syftar till öppenhet.

Men i slutändan blir det såklart en juridisk fråga om det är lagligt eller inte. Logiska resonemang om att det inte spelar någon roll om överföringar till tredje part har skett avseende öppna data, öppen källkod och personuppgifter kopplat till öppna backloggar spelar nog ingen roll om det är olagligt. Men tillsvidare skapar det en stor nytta och är i princip riskfritt för medborgaren.

@nina_ Använder bara gitlabs wiki själv. Gitlab är öppen källkod, så det går att ladda ner och hosta "ON-PREM" https://docs.gitlab.com/ee/install/. Det inkluderar källkodsversionering, issue-tracker, wiki etc.

Kanske någon annan har några förslag till katalogen angående wikis.

@josefinlassi @Nina_ Innehållet i katalogen dvs metadata om öppna programvaror är rimligen att betrakta som öppna data. Tills vidare så innehåller inte katalogen personuppgifter, tänker dock att kontaktperson är väldigt relevant på sikt dock.

Enligt https://about.gitlab.com/privacy/ så kan Gitlab logga ip-adresser i syfte att sammanställa statistik. Om lösningen faller så faller den rimligen på den punkten.

Men tillbaka till backloggen, tänker att vi får försöka hitta en WIKI eller liknande som driftas på ett tillbörligt sätt.

Då många myndigheter verkar aktivt på facebook/linkedin kanske det är lämpliga amerikanska plattformar