Technische und funktionale Validierung des AKKORD-Referenzbaukastens

Als letztes Arbeitspaket im Forschungsprojekt AKKORD zielt das Arbeitspaket 8, Validierung des Referenzbaukastens, auf eine Evaluation der zugrundeliegenden Architektur sowie der Umsetzung als Service Plattform ab. Die Validierung erfolgt dabei sowohl aus inhaltlicher als auch aus technisch-funktionaler Perspektive.

Zielsetzung der Maßnahmen

Um die Qualität der erarbeiteten Ergebnisse sicherzustellen, wurden projektbegleitend Validierungen der einzelnen Teilergebnisse und der Vorgehensweise bei ihrer Erarbeitung durchgeführt. Die Validierung von Ergebnissen hat sich vor allem in den Bereichen als sinnvoll erwiesen, in denen Teilergebnisse erzielt wurden, die entweder im Projekt weiterverwendet werden, bzw. die bei Anwenderunternehmen und assoziierten Partnern zum Einsatz kommen.

Anknüpfung ans Lasten- und Pflichtenheft

Dadurch wurde der innerhalb des Arbeitspakets 7 geschaffene und prototypisch umgesetzte Baukasten mithilfe der Anwendungsszenarien validiert und bewertet. Die entstandenen Ergebnisse leisten einen Anwendernutzen und bilden den weiterentwickelbaren Kern aller weiteren Ergebnisse in den produzierenden Untnehmen. Gleichzeitig lieferten die Maßnahmen bereits Feedback während der Entwicklung für weiterführende Anpassungsmaßnahmen.

Abbildung 1: Einblick in das erstellte Lasten- und Pflichtenheft: Teilergebnis von Arbeitspaket 1 (Anforderungsdefinition) und Arbeitspaket 2 (Konzeption des Referenzbaukastens)

Im gesamten Projekt nimmt die Validierung eine Querschnittsfunktion ein, in die alle Projektpartner während der Bearbeitung eingebunden sind. Die Grundlage aller Maßnahmen bildet das während der ersten Phase der Projektbearbeitung entwickelte Lasten- und Pflichtenheft. Auf insg. 143 Seiten werden hier die Anforderungen und Realisierungsansätze an den erarbeiteten Referenzbaukasten zusammengefasst.

Aus den gewonnenen Erkenntnissen über den Ist-Zustand aus dem Arbeitspaket 1 wurden Lasten inklusive zugehöriger Entwicklungs- und Bewertungskriterien abgeleitet. Die daraufhin im Arbeitspaket 2 entwickelten Konzepte zur Umsetzung des integrierten Referenzbaukastens wurden als Pflichten, in das gemeinsam erstellte Dokument übernommen.

Abbildung 2: Zusammenfassende Darstellung der Entwicklung des Lasten- und Pflichtenhefts (Vorgestellt beim 3. Konsortialtreffen bzw. 1. Meilensteintreffen am 18.03.2020)

Wie grafisch veranschaulicht wurde der Aufbau des Lasten- und Pflichtenhefts nach den vier Leistungsbereichen des Projekts „Kollaboration und Geschäftsmodelle“, „Kompetenzen und Handlungsempfehlungen“, „Analysemodule und Konfiguration“ sowie „Datenbackend System“ strukturiert.

Innerhalb der bekannten Leistungsbereiche werden die Anforderungen und Realisierungsansätze dann in Themencluster eingeteilt und mithilfe einer Steckbriefstruktur beschrieben.

• Jeder Steckbrief enthält im Kopf zunächst eine Kurzbenennung der adressierten Anforderung.
• Außerdem wird das übergeordnete Cluster der Anforderung und des Leistungsbereichs zwecks gezielter thematischer Einordnung der Anforderung benannt.
• Zudem wird angegeben, ob es sich um eine funktionale oder nichtfunktionale Anforderung handelt sowie die Umsetzungspriorität (kann/muss)

Der Körper jedes Steckbriefs unterteilt sich in einen Bereich zur genaueren Charakterisierung der Anforderung (Lastenheftbestandteil) und des Realisierungsvorhabens (Pflichtenheftbestandteil).

• Im ersten Bereich befindet sich jeweils eine Kurzbeschreibung der Anforderung sowie die Angabe eines Prüfkriteriums, anhand dessen nach Leistungserbringung die Umsetzung der Anforderung bewertet werden kann.
• Im zweiten Bereich wird angegeben, ob die Umsetzung der Anforderung im Rahmen des zu entwickelnden Referenzbaukastens geplant ist (ja/nein) und ein erster Ansatz zur (technischen) Realisierungsform aufgeführt.

Konzeptvalidierung des Referenzbaukastens

Die Gestaltung des Referenzbaukastens, der zugrundeliegenden Architektur sowie der Umsetzung als Service-Plattform zur vernetzten und integrierten Anwendung industrieller Datenanalyse für die wertschaffende, kompetenzorientierte Kollaboration in dynamischen Wertschöpfungsnetzwerken stellt den Kern von AKKORD dar. Um der Baukasten-artigen Struktur gerecht zu werden, wurde das Konzept des Referenzbaukastens mit entsprechenden Bausteinen gestaltet. Das Ergebnis sind die sechs Bausteine:

• Erfolgsgeschichten
• Zugriffsbaustein
• Analysebaustein
• Nutzungsbaustein
• Lern- und Kollaborationsplattform
• Erweitertes Software- und Dienstleistungsangebot

Das Zusammenspiel der Bausteine wird in der untenstehenden Abbildung grafisch veranschaulicht. Der Referenzbaukasten wurde bereits in diversen früheren Beiträgen behandelt und stellt ausdrücklich ein gemeinschaftliches Ergebnis des gesamten Projektkonsortiums dar.

Abbildung 3: Darstellung des AKKORD-Referenzbaukastens bestehend aus sechs Bausteinen zur Anwendung industrieller Datenanalysen.

Im Fokus der gesamten Projektarbeit standen insbesondere

• das Konzept zur Informationsdarstellung,
• die Gestaltung der Benutzer- und Bedienstrukturen,
• die Interaktion der Einzelmodule bzw. Lösungsansätze miteinander sowie
• etwaige nutzungserleichternde Assistenzfunktionen.

Da bereits das integrierte Lastenheft anhand der vier Leistungsbereiche des Forschungsprojekts untergliedert wurde, teilen sich auch die Maßnahmen zur Validierung in die vier Bereiche auf. Hier werden die beiden Perspektiven konzeptionell-methodisch und technisch-funktional unterschieden.

Validierung im Leistungsbereich „Kollaboration und Geschäftsmodelle“

Der Leistungsbereich „Kollaboration und Geschäftsmodelle“ thematisiert die Zusammenarbeit verschiedenster Stakeholder in Datenanalyse-Projekten über das gesamte Wertschöpfungsnetzwerk hinweg und die Auswirkungen der kollaborativen Datenanalysen auf das verwendete Geschäftsmodelle hat. Der Fokus des Leistungsbereichs liegt zum einen auf der Konzeptionalisierung von Austauschmöglichkeiten innerhalb eines solchen Projektes. Zum anderen adressiert der Leistungsbereich die eigentliche Analyse von Daten unterschiedlicher Stakeholder im Wertschöpfungsnetzwerk und die daraus resultierenden Auswirkungen auf das Geschäftsmodell. Dazu wurden für den Leistungsbereich 14 Anforderungen im Lastenheft erfasst. Darunter 11 funktionale und 3 nicht-funktionale Anforderungen. Von diesen mussten die Aktivitäten für 3 Anforderungen aufgrund des Ausscheidens eines Anwendungspartners abgebrochen werden. Dabei handelt es sich um Anforderungen zu Kollaborationsmöglichkeiten in der Supply-Chain. Die übrigen 11 Anforderungen wurden im Rahmen von Arbeitspaket 8 validiert.  Die Validierungsmaßnahmen unterscheiden sich dabei abhängig von der konkreten Anforderung. Im Folgenden sind zwei beispielhafte Validierungsmaßnahmen einer funktionalen sowie einer nicht-funktionalen Anforderung erläutert.

Zur Unterstützung der Teilnehmer eines Datenanalyse-Projektes mit Geschäftsmodellbezugs und der Bereitstellung von Hintergrundwissen wurden in Zusammenarbeit mit BtF Lernmodule zum Thema Geschäftsmodelle entwickelt. Die Validierung erfolgte hier durch die Überprüfung der Vollständigkeit der Inhalte.

Zur Validierung des in Use-Case 7 erstellten Prototypen zur Analyse von Kundenmeinungen und deren Auswirkung auf das Geschäftsmodell wurde eine technisch-funktionale Validierungsmaßnahme durchgeführt. Um zu überprüfen ob sowohl Funktionalität als Benutzeroberfläche einen Mehrwert bietet, wurde eine Nutzerstudie durchgeführt. Dazu erhielten Probanden eine Anzahl an Aufgaben, welche an dem Prototyp durchgeführt werden mussten. Im Anschluss wurde über einen dazu entworfenen Fragebogen ein direktes Nutzerfeedback eingeholt, welches im Anschluss in die Weiterentwicklung des Prototyps einging.

Validierung im Leistungsbereich „Kompetenzen und Handlungsempfehlungen“

Im Fokus des Leistungsbereichs „Kompetenzen und Handlungsempfehlungen“ stand die Erfassung, der Aufbau und die Sicherung von Kompetenzen in der industriellen Datenanalyse von Wertschöpfungsnetzwerken. Hierfür wurden die identifizierten Anforderungsbereiche und Kompetenzen in konkrete und messbare Kompetenzdefinitionen und -bereiche überführt, um entsprechende, technologiebasierte Lernmodule zur industriellen Datenanalyse zu erstellen und auf einer Work & Learn -Plattform für die Nutzer bereitzustellen. Um sicherzustellen, dass die entwickelten Lösungen einen praxisorientierten Mehrwert für die Plattformnutzenden bieten, wurden alle 40 Anforderungen (darunter 7 nicht funktionale und 33 funktionale) des Lastenheftes im Rahmen der Ergebnisauswertung iterativ validiert. Eine gängige konzeptionell-methodische Validierungsmaßnahme, die häufig verwendet wird, ist die Inhaltsvalidierung. Hierbei wird überprüft, ob z.B. der Inhalt einer Testaufgabe oder einer Messmethode tatsächlich das misst, was gemessen werden soll. Die Inhaltsvalidierung beinhaltet oft eine Überprüfung der einzelnen Aufgaben oder Items durch Experten, um sicherzustellen, dass sie den relevanten Inhalt abdecken und angemessen repräsentativ für das Konstrukt sind, das gemessen werden soll. Hierbei können sowohl qualitative als auch quantitative Methoden eingesetzt werden.

Zur Überprüfung der umgesetzten Arbeitspakete wurden auch technisch-funktionale Validierungsmaßnahme angewandt, bei der beispielweise Testnutzer Accounts erhalten haben, um die einzelnen Funktionen der Plattform ausgiebig zu testen: Ziel war es, sicherzustellen, dass die Plattform alle Funktionen erfüllt und die Probanden ein positives Fazit ziehen. Die Testnutzer erhielten spezielle Anleitungen und Aufgaben, um verschiedene Funktionen der Plattform zu testen, darunter das Hochladen von Lerninhalten, die Teilnahme an Online-Kursen, die Interaktion mit anderen Nutzern, das Stöbern in den Magazinbeiträgen, die Verwendung von Tools zur Bewertung und Überprüfung des Lernfortschritts. Die Testnutzer wurden aufgefordert, Feedback (Abb.4) zur Benutzerfreundlichkeit, zur Leistung und zur allgemeinen Funktionalität der Plattform zu geben. Das Feedback wurde gesammelt und analysiert, um Schwachstellen und Verbesserungspotenziale zu identifizieren. Auf der Grundlage des Feedbacks wurden Optimierungsmaßnahmen vorgenommen, um sicherzustellen, dass die Plattform reibungslos funktioniert und ein positives Lernerlebnis für die Nutzer bietet.

Abbildung 4: Interner Feedbackfragebogen zur Work & Learn- Plattform

Validierung im Leistungsbereich „Analysemodule für vernetzte und integrierte Daten“

Im Leistungsbereich  „Analysemodule für vernetzte und integrierte Daten“ steht die Datenanalyse im Fokus, deren Umsetzung anhand von Validierungsmaßnahmen in den vier Clustern Anwenderunterstützung, Datenanalysemodule, Analyseergebnisse & Dashboards sowie den allg. Anforderungen an die Analyse an sich validiert wird. Im Fokus steht dabei die nutzerorientierte Umsetzung des Datenanalyseprozesses in den Plattformen an sich. Die allg. Anforderungen umfassen dabei unter anderem Anforderungen im Bereich der Datensicherheit sowie der Individualisierung der generalisierten Datenanalysemodule je nach Anwendungsfall und Unternehmen. In der Anwenderunterstützung werden die Anforderungen in Bezug auf die Nutzerassistenz beschrieben und validiert. Das Cluster „Datenanalysemodule“ umfasst explizit die technische Umsetzung verschiedener Module, die für den Einsatz in der industriellen Praxis naheliegend sind. Diese sind eine Grundlage dafür, einen Einstiegsanwendungsfall für mögliche Anwenderunternehmen zu bieten. Um einen Nutzen und die Generierung neuen Wissens aus den Analysen zu gewährleisten, werden innerhalb des vierten Clusters „Analyseergebnisse & Dashboards“ die Anforderungen im Rahmen der Ergebnisauswertung validiert. Insgesamt wurden im Rahmen des Projektes 47 Anforderungen im Bereich aufgestellt, davon 16 nicht erfüllt, dies betrifft bis auf 2 Ausnahmen “Kann-Anforderungen”, die sich als nicht praktikabel oder obsolet erwiesen haben. Dies betrifft einzelne Funktionen oder organisatorische Maßnahmen, die sich im Rahmen des Projektes als nicht praktikabel oder zielführend erwiesen haben.

Eine beispielhafte nicht-funktionale, allgemeine Anforderung stellt die Möglichkeit der Nutzung der Plattformen auf mobilen Endgeräten dar. Gerade im industriellen Umfeld ist eine möglichst flexible Nutzung einzelner Analysen oder Inhalte in verschiedenen Szenarien. Dies kann direkt auf dem Shopfloor, in Meetings oder bei der Präsentation auf Messen sein. Die browser-basierte Umsetzung der „AI-Toolbox“ sowie der „Work & Learn Plattform“ stellt dabei die ideale Lösung dar. Im Rahmen der Anwendung in den einzelnen Use Cases sowie auf Messebesuchen wurde die Lösung auf verschiedenen Endgeräten in unterschiedlichen Entwicklungsstufen getestet und entsprechend iterativ angepasst, sodass final eine Nutzung auf allen gängigen Betriebssystemen und Browsern gewährleistet werden kann.

Darüber hinaus ist gerade im zentralen Gebiet der Datenanalyseausführung funktional zu überprüfen, inwiefern die Projektergebnisse den Anforderungen entsprechen. Zentrales Element ist dabei beispielsweise die Umsetzung von Tutorialprozessen. Dabei sollte ähnlich der Umsetzung in der Analysesoftware RapidMiner selbst für jedes Analysemodul ein Tutorialprozess erstellt werden. Dies ist entsprechend auch in der AI-Toolbox umgesetzt. Jedes bereitgestellte Modul lässt sich ohne eigene Daten auf Basis eines Demo-Datensatzes ausführen. Der Nutzer hat so die Möglichkeit zu sehen, wie das Modul konfiguriert ist und welche Visualisierung der Analyse gewählt wurde. Danach hat er die Möglichkeit, das Modul mit den eigenen Daten zu verwenden oder entsprechend seinen Bedürfnissen mit einer anderen Visualisierung anzuwenden. Dabei stehen ihm wiederum ein Handbuch zur Erstellung oder Anpassung von Analysemodulen zur Verfügung, auch ein Tutorialvideo steht bereit.

Validierung im Leistungsbereich „Daten-Backend-System“

Im Leistungsbereich „Daten-Backend-System“ werden Bausteine für einen einheitlichen Zugriff auf Daten entwickelt. Diese werden im Projekt für den Datenzugriff zwecks anschließender Analyse eingesetzt. Die Arbeiten orientieren sich dabei an den im Projekt ermittelten Anforderungen und werden anhand der AKKORD Use Cases mit den Anwendungspartnern validiert. Die zentralen Ergebnisse des Leistungsbereichs Backend bestehen in der konzeptuellen Entwicklung und technischer Implementierung verschiedener Backendbausteine, die sich in ein modulares Gesamtkonzept als Bestandteil des Referenzbaukastens eingliedern. Konkret wurden Bausteine zur Anbindung von Datenquellen, Speicherung von Daten sowie Vorbereitung von Daten für Analysestränge entwickelt.

Die Validierung der Ansätze erfolgte zunächst auf einer konzeptuellen Ebene. Hier wurden bereits während der Bearbeitung des Leistungsbereichs die zentralen Konzepte und Lösungselemente einiger Bausteine im Rahmen einer Veröffentlichung bei der DESIGN2022-Konferenz der Fachwelt vorgestellt. Darüber hinaus wurden verschiedene Leitfäden entwickelt, die den Aufbau einer Backendlösung in Unternehmen im Detail beleuchten.

Die technische Validierung der Ergebnisse des Leistungsbereichs erfolgte durch funktionale Tests der entwickelten Lösungskomponenten. Zu diesem Zweck wurden unter anderem Beispieldaten aus verschiedenen Datenquellen im Backend gespeichert, Daten über den Data Model Canvas miteinander verknüpft, sowie über die im Projekt entwickelte Schnittstelle für die Weitergabe an die Analysebausteine bereitgestellt. Insgesamt wurden von 29 Anforderungen 27 umgesetzt, die beiden übrigen Anforderungen wurden im Laufe des Projekts als obsolet markiert.

Zusammenfassung und Ausblick

Das Leistungspaket 8 zur Validierung zählt zu den letzten Arbeiten, die im Forschungsprojekt AKKORD vorgesehen sind. Mit dem Ende der Arbeiten liegen nun validierte und bewertete Projektergebnisse vor. Gleichzeitig werden Ableitungen für die konzeptionellen Weiterentwicklungen des Referenzbaukastens erwartet. Für einen weiterführenden Einblick sei an dieser Stelle, auf den in Form eines Sammelbands umsetzten Abschlussbericht verwiesen.