Civic Data Cafe

Erstmal würde ich zustimmen, dass es in vielen Bereichen wichtig wäre, Outcomes sichtbarer zu machen und ggf. auch formalisiert so erfassbar zu machen (da wo es möglich ist), damit man auch Veränderungen z.B. durch Datenprojekte sichtbar machen kann. Wir brauchen also erstmal Daten, damit wir auch belegen können, warum die Arbeit mit Daten sinnvoll ist :smiley:\ \ Ich würde aber unbedingt neben dem Outcome bei der Zielgruppe auch Kennzahlen vor allem auf der Seite des personellen Einsatzes wichtig finden. Zum einen, weil wir an vielen Stellen immer mehr versuchen müssen, den gleichen Outcome mit weniger personellem Einsatz zu erreichen, das gilt für ehrenamtlich engagierte wie für hauptamtliche Mitarbeiter\*innen in der Sozialwirtschaft. Zudem ist gerade auch bei Datenprojekten immer die Gefahr oder zumindest die berechtigte Angst, dass mehr datenbasiertes Arbeiten vor allem den Druck auf das Personal erhöht. Ein größerer gemessener Outcome (oder gleichbleibender Outcome bei weniger Personaleinsatz) könnte dann möglicherweise einfach durch mehr Belastung beim Personal erreicht werden, was wiederum den Personalmangel noch weiter erhöhen wird. Deshalb wäre es in meinen Augen wichtig, diesen Aspekt auch von Anfang an im Auge zu behalten, damit Datenprojekte nicht zu einer Mehrbelastung und bestenfalls sogar zu einer Entlastung führen.

Erfolge sind ja doch sehr Projekt-individuell. Auch in der Wirtschaft ist Geld nicht die einzige Erfolgsdimension, sondern ja eher eine Konsequenz aus Erfolg. Wie man den misst, kommt ganz auf die Art des Projektes an. \ Wenn man z.B. Richtlinien und Vorlagen (wofür auch immer) erstellt, kann man den Erfolg daran messen, ob ihn viele Unternehmen/Personen nutzen.\ Erstellt man Software, braucht man danach eine Userbase, die entweder das Produkt nutzt oder vielleicht nach Projektende hilft dieses weiterzuentwickeln. \ Gründet man eine Community, misst man Erfolg daran, wie aktiv diese ist und ob diese auch über den initialen Wind in den Segeln weiter läuft.\ \ All das misst Erfolg in Projekten, die auf Geld und/oder auf Gemeinwohl aus sind. Geht es ums Gemeinwohl, kann man an den beschriebenen Sachen direkt festmachen, dass sie das Leben der entsprechenden Menschen vereinfachen oder einfach bereichern. Ist man zusätzlich noch auf Geld aus, braucht man erstmal diese Vorbedingungen, damit es sich überhaupt lohnt. Nutzt niemand mein Projekt, kann ich damit auch kein Geld machen.\ \ Ich finde also, Erfolg misst man immer anhand der Leute, für die man das Projekt macht (das können auch die Leute sein, die das Projekt selbst durchführen).\ \ Erfolg ist sehr individuell, aber bei einem guten Projekt muss man den Erfolg gar nicht vorstellen, sondern das macht er schon selbst :wink:

Danke für die Rückmeldungen. Eine Kennzahl im Hinblick auf die Belastung der Mitarbeitenden ist ein guter Gedanke [Georg Förster](mention:a12815b7-a86a-4573-b724-8e27ffc6388f "/u/georg/"). In der Tat sollte das Ziel eines höheren Outcomes nicht dazu führen, dass die Arbeitsbelastung bei den Mitarbeitenden zunimmt. Danke auch [Alexander Rudolph](mention:06abd02c-f68e-4a1f-b80b-8ad856013b11 "/u/alex/") für die Rückmeldung. Ich bin ganz bei dir, dass Erfolg auch immer sehr individuell ist. Ich fände aber einheitliche Kennzahlen trotzdem spannend, gerade dann, wenn Ressourcen nur begrenzt vorhanden sind und man überlegen muss, welches Datenprojekt man umsetzt. Hier könnte man dann argumentieren, dass erst einmal das Datenprojekt umgesetzt wird, dass einen höheren Beitrag zum Outcome liefert. Ich vermute zwar, dass wir in unseren Bereich bis jetzt nicht ganz an dem Punkt sind, sondern erst einmal einzelne Projekte starten müssen, aber perspektivisch wäre es aus meiner Sicht schon hilfreich, wenn allgemeine Kennzahlen zur Beurteilung des Erfolges vorhanden wären.

Ich würde grundsätzlich dazustellen: Ein Datenprojekt im zivilgesellschaftlichen Bereich muss genau wie alle anderen Aktivitäten den Zielen des jeweiligen Handlungsfeldes dienen und daher auch anhand dieser strategischen Ziele gemessen werden - das können z.B. unternehmerische/ sozialwirtschaftliche, sozial- oder personalpolitische Ziele sein… und dann sind Erfolgsindikatoren schon individuell, würde ich meinen.\ \ Ich denke, dass sich daraus ein Problem mit der Vermarktung ergibt: Ein Datenprodukt läuft in Wirtschaftsunternehmen dann gut, wenn es Geld einbringt, dann gibt es auch Interesse an Investitionen. Im sozialen Bereich kann man auch Effizienz steigern -aber das hat kaum positive Folgen für die beteiligten Personen, wie Georg schon zwischen den Zeilen sagte. Ist aber eigentlich kein Problem der Messung von Outcome sondern der Argumentation mit diesen Daten.\ \ Das Thema Belastungen und Outcomes mess- und damit personalentwicklerisch nutzbar zu machen, hat übrigens die Caritas in Hannover mit dem [Projekt CarDia](https://community.civic-data.de/s/willkommens-space/wiki/CarDia+ "Projekt CarDia") adressiert. Sehr interessante Herangehensweise, da die Ursprungsbeobachtung war “Ich möchte Kennzahlen messen, um den Erfolg meiner Einrichtung zu messen - aber die typischen Kennzahlen funktionieren bei uns nicht.”

Ich stimme euch zu, dass Erfolgsindikatoren im Non-Profit-Bereich individuell sind und sein müssen. Das beinhaltet aber ja auch der Wirkungsbegriff, denn was Wirkung ist und was nicht, leitet sich ja eben von den individuellen Zielen der jeweiligen Organisation ab.\ \ Tatsächlich ist ja oft das Problem, dass diese individuellen Erfolgsindikatoren selbst noch nicht mit Daten hinterlegt sind. Man braucht also schon erstmal ein Datenprojekt, um den Erfolg weiterer Datenprojekte darstellbar zu machen. Gerade deshalb sind natürlich Datenprojekte, die auf Kostenreduktion abzielen (Erhöhen des Umsatzes ist ja im Non-Profit-Bereich in der Regel nicht das Ziel), erstmal leichter intern zu verkaufen, weil deren Erfolg wirklich messbar ist und die Investition in so ein Projekt sich im wahrsten Sinne des Wortes auszahlen kann. Mit der von mir angedeuteten und von Angela noch einmal aufgegriffenen Problematik unbeabsichtigter und wiederum nicht berücksichtigter Nebenwirkungen.\ \ Letztlich muss man in den meisten Organisationen aber trotzdem Entscheidungsträger\*innen überzeugen in Datenprojekte zu investieren. Wenn man das nicht über finanzielle Aspekte tun möchte, scheint es mir sinnvoll vor allem erstmal zu schauen, wo man bereits Kennzahl hat bzw. Daten hat aus denen man Kennzahlen generieren könnte. Würde man z.B. bei einem Kita-Träger ein daten- und algorithmenbasiertes Schichtplanungssystem einführen wollen, könnte man z.B. auf Fluktuation und Fehltage schauen als Indikatoren für die Mitarbeiter\*innenzufriedenheit.\ \ Allerdings hört man auch von Daten-Expert\*innen in der freien Wirtschaft immer wieder, dass es häufig erstmal um die Investition in eine Basisinfrastruktur geht, der man nicht direkt ein Return on Investment zuordnen kann. Das ist dann als würde man die Frage stellen: Was bringt es mir ein Büro zu haben? Warum brauchen meine Mitarbeitenden Schreibtische oder Laptops? Wie zahlt sich das aus?

spannende Diskussion, danke fürs Anstoßen [Sebastian Ottmann](mention:129253ca-de26-41b2-8b6d-2e16503fba53 "/u/sebastian.ottmann/") . Ich sehe eine Wirkungskette prinzipiell als Folge von Hypothesen (wenn, dann / je , desto). Ein Datenprojekt kann an verschiedenen Stellen dieser “Hypothesenkette” Wirkung erzielen und erfolgreich sein, wie ihr ja auch schon alle diskutiert habt. Man kann die Qualität der eigenen Aktivitäten verbessern (z.B. besseres Matching in Angebote) um das Outcome (z.B. Beratungsqualität) zu verbessern oder man kann ein Schichtplanungssystem einführen und den “Input” (Mitarbeiter\*innen) verbessern. Ich bin mir auch nicht sicher ob es Sinn macht, jetzt schon zu versuchen, den Erfolg eines Projekts zu messen, wenn die darunterliegenden Hypothesen meistens schon nicht ausreichend “getestet” sind. Wobei ich da auch denke, dass wir uns da nicht zu stark verkünsteln sollten, sondern uns fokussieren sollten auf das individuelle Outcome. Und da vlt auch qualitative Methoden besser geeignet sind, v.a. für kleinere Organisationen (mein quanti Herz blutet). Abgesehen von dem Blick auf die Wirkung gibt es für mich auch noch “Prozesserfolg”, der v.a. im ehrenamtlichen Kontext wichtig ist. Das sind sehr “softe” Faktoren: - die Zeit der Beteiligten wurde sinnvoll genutzt, v.a. im Vergleich zu dem ehrenamtlichen Engagement was sie sonst leisten würden - die Beteiligten hatten Spaß und Freude im Prozess (im Ehrenamt mMn ein wichtiger Punkt :smiley: ) - die Beteiligten sind “empowert” durch das Projekt (sie haben etwas gelernt oder Selbstwirksamkeit erfahren) - Beteiligte haben Ownership über den Output - der Output kann von den Beteiligten weitergenutzt und weiterentwickelt werden.

> Allerdings hört man auch von Daten-Expert\*innen in der freien Wirtschaft immer wieder, dass es häufig erstmal um die Investition in eine Basisinfrastruktur geht, der man nicht direkt ein Return on Investment zuordnen kann. [Georg Förster](mention:a12815b7-a86a-4573-b724-8e27ffc6388f "/u/georg/") yes. Imho wird man nicht darum herumkommen, unabhängig von Datenprojekten und -produkten eine solche Basis aufzubauen. Vlt mache ich dazu einen separaten Post um diese Diskussion nicht zu derailen.

Danke für eure Rückmeldungen. Ich denke auch, dass es wahrscheinlich noch zu früh für einheitliche Erfolgsindikatoren ist, aber ich finde es trotzdem spannend darüber nachzudenken. Aber gerade im Hinblick auf die erzielten Wirkungen muss man wahrscheinlich erst einmal dahin kommen, wie auch schon beschrieben, diese quantitativ zu erfassen und auch Wirkannahmen zu testen. Und was mir gestern bei einem Workshop klar geworden ist: Man muss auch aufpassen, dass solche Erfolgsindikatoren sich nicht negativ auswirken. Das Beispiel, das dort aufgebracht wurde, hat sich auf Wirtschaftsunternehmen bezogen im Hinblick auf den Gewinn als Erfolgsindikator. Die Auswirkung war, dass Abteilungen weniger zusammengearbeitet haben, da jede darauf bedacht war einen möglichst hohen Beitrag zum Gewinn zu leisten. Solche nicht gewünschten Auswirkungen sollte man natürlich immer mitbedenken, wenn es um Erfolgsindikatoren geht.

Ein weiteres großes und wichtiges Kapitel! Heute morgen erst sind wir bei Fragen nach der Verwendung von Statistikdaten aus unseren Diensten wieder auf die Sorge vor vergleichender Bewertung und Kontrolle von Mitarbeitendenleistungen gestoßen.

Diese Sorge kenne ich auch aus unseren Projekten. Hier stelle ich aber fest, dass man diese Sorge nehmen kann, wenn klar vereinbart ist, warum man die Daten vergleicht und es um die fachliche Weiterentwicklung geht und z. B. nicht um finanzielle Konsequenzen. Wenn da Regeln vereinbart sind, habe ich auch die Erfahrung, dass dann auch eine Vergleichsauswertung genutzt wird und sich die Personen darauf einlassen. Aber es ist in der Tat ein Thema, bei dem man behutsam vorgehen muss.

Vielen Dank für diese Interessant Diskussion. Ich wollte mich an der Diskussion beteiligen und mit euch allen laut zu reflektieren. Ich stimme zu, dass es schwieriger ist, Erfolgsindikatoren für Zivilgesellschaftsprojekte zu definieren, insbesondere wenn das Endziel nicht leicht quantitativ messbar ist (Gemeinwohl vs. Gewinn). Die Kombination aus qualitativen und quantitativen Indikatoren sowie internen (Team, Ehrenamtliche) und externen (Zielgruppe) Faktoren bietet dabei ein besseres Bild von Erfolg. Obwohl jedes Projekt individuell ist, könnten wir möglicherweise Kategorien von Datenprojekten in der Zivilgesellschaft identifizieren, um generelle Empfehlungen für Erfolgsindikatoren für jede Art/Kategorie zu entwickeln?   Ein weiterer externer Faktor, der den Erfolg zivilgesellschaftlicher Datenprojekte stark beeinflusst, ist die Finanzierung und die Infrastruktur. zu diesem Thema finde ich dieses [Papier von Rainer REHAK vom Weizenbaum-Institut](https://discontinued-civictech.github.io/files/abstracts/10_RainerRehak_DiscontinuedCivicTech.pdf "Papier von Rainer REHAK vom Weizenbaum-Institut") sehr interessant, da er diesen langfristigen Rückblick bietet. Der Titel des Papiers ist “Ten Years of Failed Civic Tech in Germany” war Teil des Workshops “Failed yet successful - Learning from discontinued civic tech initiatives”.  Wenn man zurückblickt und sieht, wie wir "Erfolg" und "Misserfolg" definieren und versucht, darüber nachzudenken, wie wir nachhaltige Projekte planen können…..Das könnte auch eine andere Diskussion sein, weil ich glaube, dass das Civic Data Lab eines dieser "digitalen Infrastruktur" Projekte ist, das nicht nachhaltig angelegt war. Dennoch können wir in gewisser Weise den Weg zu einem nachhaltigen Projekt steuern (oder auch nicht).