Civic Data Cafe

vlt [Bernhard Krabina](mention:8ea6d619-c5e7-40e9-9bd9-276fc6df0603 "/u/krabina/") ?

Hmm. Eigentlich nicht wirklich. Hab mir selbst mal eine Liste gemacht, die recht unvollständig und nicht gut gewartet ist. Aber ev. ist für den Start was dabei:\ \ Daten finden - Open Government Data Portal Österreich: [https://www.data.gv.at](https://www.data.gv.at) - Mobilitätsdaten: [https://mobilitydata.gv.at/](https://mobilitydata.gv.at/) I - NSPRIE (Geodaten): [https://www.inspire.gv.at/](https://www.inspire.gv.at/) - Basemap: [https://basemap.at/](https://basemap.at/) - Open Data Portal (NGOs, Wirtschaft): [http://www.opendataportal.at](http://www.opendataportal.at) - Statistik Austria: [http://www.statistik.gv.at](http://www.statistik.gv.at) - Europäisches Datenportal: [https://data.europa.eu](https://data.europa.eu) - Internationale Datenportale: [http://opendata-showroom.org/de/datenkataloge/](http://opendata-showroom.org/de/datenkataloge/) - Weltbank: [http://data.worldbank.org/](http://data.worldbank.org/) Daten scrapen - Daten aus Webseiten auslesen: [http://webscraper.io/](http://webscraper.io/) [https://](https://geekflare.com/de/web-scraping-tools/) - [geekflare.com/de/web-scraping-tools/](https://geekflare.com/de/web-scraping-tools/) - Daten aus Webseiten/PDFs auslesen: [http://www.outwit.com/](http://www.outwit.com/) (Installation nötig) - [https://earthweb.com/pdf-scrapers/](https://earthweb.com/pdf-scrapers/) - PDFs teilen, zusammenführen, etc: [http://smallpdf.com](http://smallpdf.com) Daten bearbeiten: Umfassende Data Science Tools: - KNIME: [http://knime.org/](http://knime.org/) (Workflows grafisch zusammenstellen) - Thread KNIME and Power BI [https://forum.knime.com/t/knime-vs-powerbi-and-outlook-for-business-users/62586](https://forum.knime.com/t/knime-vs-powerbi-and-outlook-for-business-users/62586) - RapidMiner: [https://rapidminer.com/](https://rapidminer.com/) (ähnlich wie KNIME, freie Version im Umfang eingeschränkt) - Pentaho wird nicht mehr entwickelt, ist nun Apache Hop: [https://hop.apache.org/](https://hop.apache.org/) - Tableau: [https://www.tableau.com](https://www.tableau.com) (kommerziell)? - Talend: [https://www.talend.com/](https://www.talend.com/) (kommerziell?) - Sisense: [https://www.sisense.com/platform/](https://www.sisense.com/platform/) - Jupyter Notebooks (Python): [https://en.wikipedia.org/wiki/Project_Jupyter](https://en.wikipedia.org/wiki/Project_Jupyter) - R Studio: [https://www.rstudio.com/](https://www.rstudio.com/) sehr nah am Programmieren R + Markdown Spezialisierte Tools - Open Data Editor und andere: [https://opendataeditor.okfn.org/documentation/comparision-to-alternatives/?s=09](https://opendataeditor.okfn.org/documentation/comparision-to-alternatives/?s=09) - OpenRefine: [http://openrefine.org/](http://openrefine.org/) (Installation nötig): Data wrangling, reconciliation mit Wikidata - Datasette: [https://datasette.io/](https://datasette.io/) SQL-Lite basierendes Tool - EQuatorstudios: [https://maps.equatorstudios.com/](https://maps.equatorstudios.com/) GIS - QSV: [https://github.com/jqnatividad/qsv](https://github.com/jqnatividad/qsv) CSV wrangling - CSV to API: [https://github.com/project-open-data/csv-to-api](https://github.com/project-open-data/csv-to-api) Fotos und Bildbearbeitung - EXIF und IPTC: [https://lernen.zoner.de/exif-iptc-metadaten-und-wie-man-sie-nutzt/](https://lernen.zoner.de/exif-iptc-metadaten-und-wie-man-sie-nutzt/) - EXIF-Tool (Windows): [https://exiftool.org/](https://exiftool.org/) - PHP JPEG Metadata Toolkit (PHP): [http://www.ozhiker.com/electronics/pjmt/](http://www.ozhiker.com/electronics/pjmt/) Daten visualisieren (können die oberen, umfassenden Data-Science-Tools auch) - Übersichten [https://visme.co/blog/de/datenvisualisierung-tools/](https://visme.co/blog/de/datenvisualisierung-tools/) - [https://www.octoparse.de/blog/30-beste-tools-zur-datenvisualisierung-im-jahr-2021](https://www.octoparse.de/blog/30-beste-tools-zur-datenvisualisierung-im-jahr-2021) - Tableau Public: [https://public.tableau.com/](https://public.tableau.com/) auch Karten - DataWrapper: [https://www.datawrapper.de/](https://www.datawrapper.de/) - RawGraphs: [https://www.rawgraphs.io/](https://www.rawgraphs.io/) - Plotly Chart Studio: [https://chart-studio.plotly.com](https://chart-studio.plotly.com) - Chartblocks: [https://www.chartblocks.io/](https://www.chartblocks.io/) - Visme: [https://www.visme.co/](https://www.visme.co/) - Databox: [https://databox.com/](https://databox.com/) - Google Charts: [https://developers.google.com/chart](https://developers.google.com/chart) - Google Maps: [https://www.google.com/mymaps](https://www.google.com/mymaps) Karten (Koordinaten müssen . als Dezimaltrenner haben) - Infogram: [http://infogr.am](http://infogr.am) - einfaches Visualisierungstool für Daten - Wortwolken: [https://www.jasondavies.com/wordcloud/](https://www.jasondavies.com/wordcloud/) (auch Vektorgrafik) - Oberservable: [https://observablehq.com/](https://observablehq.com/) - Gapminder: [https://www.gapminder.org/tools/](https://www.gapminder.org/tools/) - inklusive weltweiten Datenquellen, für Zeitreihen - Gephi [https://gephi.org/](https://gephi.org/) - für Netzwerkgraphen (z. B. Bubble Charts) - Hin und Weg: Visualisierung von Bewegungsdaten (alles, was Start- und Zielpunkt hat). [https://hin-und-weg.online](https://hin-und-weg.online) Veraltet - Datamaps: [http://www.datamaps.eu](http://www.datamaps.eu) - einfach online Kartenvisualisierungen erstellen Datenkataloge - [https://www.dataspot.at/portfolio/metadatenmanagement-software/](https://www.dataspot.at/portfolio/metadatenmanagement-software/) [https://www.cdq.com/platform](https://www.cdq.com/platform) - Microsoft Purview Einheitliche Data Governance mit Microsoft Purview \| Microsoft Azure - Data.world data.world \| The Cloud-Native Data Catalog - Atlan Atlan \| Activate your Metadata Collibra - Collibra: Data Catalog, Data Governance & Data Quality \| Collibra - Alation Enterprise Data Catalog & Data Governance - DataHub DataHub Open Data - create your Open Data Portal, Data Catalog and more. - Amundsen Amundsen, the leading open source data catalog - Monte Carlo Monte Carlo \| Data Reliability Delivered ([montecarlodata.com](http://montecarlodata.com)) - Datafold Datafold - Automated testing for data engineers - Databricks Unity Unity Catalog - Databricks Open Data Portale - CKAN - DKAN [https://www.isst.fraunhofer.de/de/geschaeftsfelder/datenwirtschaft/technologien/Datenkatalog-DIVA.html](https://www.isst.fraunhofer.de/de/geschaeftsfelder/datenwirtschaft/technologien/Datenkatalog-DIVA.html) - OGDCockpit. www.ogdcockpit.eu

Wow, das ist ja schonmal eine richtig gute Ressource für bestimmt viele hier. Vielen Dank!!

Danke [Bernhard Krabina](mention:8ea6d619-c5e7-40e9-9bd9-276fc6df0603 "/u/krabina/") für deine wertvolle Antwort. \ Ich möchte auch [Georg Förster](mention:a12815b7-a86a-4573-b724-8e27ffc6388f "/u/georg/") [Johanna Koetter](mention:20e88db0-f33f-4a81-b24c-e6b2760f88e7 "/u/johannakoetter/") [Jonathan Sauer](mention:b4af3404-4f8c-4579-96e6-973f1ec9ab00 "/u/jsauer/") hier taggen... vlt hat jemand andere Ressourcen, die man ergänzen kann.

Hi ich kann auf jeden Fall mal auf dem Post hier verweisen. Bei genaueren Fragen kannst du dich gerne direkt melden oder noch einmal etwas mehr zu eurem Scope schreiben [https://community.civic-data.de/content/perma?id=868](https://community.civic-data.de/content/perma?id=868)

Da ist ja jetzt schon einiges Zusammengekommen. Besten dank euch allen. Vielleicht können wir daraus eine CDL Ressource stricken?

Persoehnlich glaube ich, dass es ja eigentlich nicht nur darum geht, wo man Daten (offene Datequellen) findet oder downloaden kann. Da gibt es in Deutschland oder gar Europa jede Menge, [Bernhard Krabina](mention:8ea6d619-c5e7-40e9-9bd9-276fc6df0603 "/u/krabina/") hat ja schon einige erwaehnt. Es geht wohl auch und gerade darum, was machen mit den vielen Daten und wie kann ich sie fuer die eigene Organisation verwenden. Und hier kommt unweigerlich “Daten ananlyse” ins Spiel. Klingt erstmal kompliziert, muss es aber nicht sein. Hier kommen open-source Loesungen (also kostenlos) in Frage wie z.B. “R” (programieren mit R .. klingt auch kompliziert muss es aber nicht)

Geht es um die Arbeit mit Daten oder darum, Datenressourcen zu finden?

uff, [Lorenz Grünewald-Schukalla](mention:430ff4aa-7a87-4c69-8815-7acbdebc51ad "/u/lorenz/") ich beneide dich nicht um die Aufgabe - das kann ein richtiges Rabbit Hole sein, sowas anzulegen (und dann v.a. zu pflegen). \ was sind denn Anwendungsfelder? sind das eher inhaltiche “Felder” oder so Sachen wie “Analyse”, “Speicherung” etc.? Sorry, falls dir das folgende schon alles klar ist, dann bitte ignorieren : ) Ich dachte nur, vielleicht hilft es, wenn ich schreibe, wie ich an die Recherche rangehen würde: 1. Listen gibt es im Internet auf jeden Fall wie Sand am Meer (meistens auf Englisch leider). “tools to do \[xy\]” bei Google und man wird erschlagen von Blog Posts. Viele davon sind geschrieben von Tool-Anbietern die ihre eigene Lösung pitchen wollen. Selbst wenn da die Intention natürlich etwas shady ist, sind das trotzdem ganz gute Startpunkte um einen ersten Eindruck zu bekommen und ein paar Punkte aufs Miro/Mural/Google doc zu setzen, die man später dann auch wieder runterschmeißen kann. :wink: 2. Vielleicht auch interessant: Blogs von Data Science Weiterbildungsanbietern, z.B. [https://www.datacamp.com/blog](https://www.datacamp.com/blog) (da sie eher noch nicht so technisch beschlagene Leute abholen müssen und gleichzeitig aktuell sind) oder der Blog von Data Orchard (NPO-spezifisch, die Datafolk CLub Zusammenfassungen): [https://www.dataorchard.org.uk/resources](https://www.dataorchard.org.uk/resources) 3. Vielleicht macht es auch Sinn, von dem auszugehen, was eure derzeitige Infrastruktur und IT und sonstigen Constraints hergeben. Wenn z.B. Microsoft gesetzt ist, kann man auch zuerst im Microsoft Universum suchen: “data tools microsoft” o.ä. Aber natürlich wollen wir alle coole Open Source tools :wink: 4. der Begriff des “data stacks” als Summe aller Tools, die zusammenspielen, könnte auch nützlich sein als Ausgangspunkt. Wobei imo einiges davon gerade am Anfang echt overkill (im Vergleich zu Datenmengen und Use Cases) ist und einen großen Berg von “wir müssen erstmal Infrastruktur bereitstellen” hinstellt, der Innovationsfreude und Geschwindigkeit nimmt. Aber als mentales Framework vielleicht nützlich: [https://sarasanalytics.com/blog/modern-data-stack/](https://sarasanalytics.com/blog/modern-data-stack/) dann kann man davon ausgehend nach den “Funktionen” suchen.

[Damian Paderta](mention:37a96bb8-91d0-4108-b6b8-721ab96efedc "/u/paderta/") und [Leo Preu (er/ihm)](mention:f5ad016a-74da-4992-adf4-956082516c85 "/u/leo_preu/") Vielen Dank euch! Es geht in erster Linie darum, einen Überblick zu bekommen. Es braucht keine vollständige Liste, sondern ein Bild, mit dem ich lerne und vermittelt bekomme, dass wir für die verschiedensten Felder der Erhebung/Sammlung, Übermittlung, Speicherung, Analyse von Daten in interoperables Ökosystem (oder eben Data Stack :wink: ) bauen müssen und können. Ich möchte also keine Liste um der Liste willen führen und aktuell halten sondern eher konzeptuell arbeiten. Dabei hat mir das alles schon sehr! geholfen

“interoperables Ökosystem” :two hearts::slightly smiling face:

Hier vielleicht interessant der punkt Evaluation methods: [https://kb.prototypefund.de/books/design-und-user-research/page/link-collection-design-ui-and-user-research](https://kb.prototypefund.de/books/design-und-user-research/page/link-collection-design-ui-and-user-research)