Analyseverfahren für SMM Tools

27 Okt

Ein Teil der Bachelorarbeit über Social Media Monitoring wird die praktische Evaluation und damit das Testen von möglichst vielen Tools sein. Diese Tools sollen dann analysiert und bewertet werden. Um eine solche Bewertung zu ermöglichen, war die Entwicklung eines Analyse und Bewertungsschemas essentiell.  Als Grundlage diente dafür die so genannte „feature analysis“, welche 1996 in dem Paper „DESMET: A method for evaluating Software Engineering methods and tools“ von Barbara Kitchenham vorgestellt wird. Ich möchte dieses Schema nun vorstellen.

In diesem modifizierten Verfahren werden nun folgende Schritte durchgeführt:

  1. Kategorisierung der Tools
  2. Bewertung der einzelnen Properties nach dem Bewertungsschema
  3. Bestimmung ob API kostenfrei ist (dies ist nur eine Zusatzinformation)
  4. graphische Darstellung der Ergebnisse in Netzdiagrammen
  5. Berechnung der Punkte für die einzelnen Tools
  6. Aufstellen der Rangliste

Die Toolkategorisierung soll zum Zeitpunkt der praktischen Evaluation bereits abgeschlossen sein, da dies ein anderer Aspekt der Arbeit ist. Diese Kategorisierung ist deshalb wichtig, da jede Property innerhalb einer Kategorie priorisiert wird, um somit den unterschiedlichen Anforderungen an die Tools gerecht zu werden. Die Priorisierung erfolgt dabei mit Werten zwischen 1 und 4, wobei 1 für unwichtig und 4 für sehr wichtig steht.

Bei der Priorisierung wird zudem noch zwischen reinen Konsumenten und Integratoren unterschieden. Reine Konsumenten wollen das Tool an sich nutzen, während Integratoren lediglich die Daten des Tools benutzen wollen, um damit ihre eigenen Lösungen zu unterstützen. Für diese Gruppen sind zwar die gleichen Toolkategorien interessant, aber die Gewichtung / Priorisierung der Properties ist eine andere.

Nachfolgend werden nun die Properties aufgelistet, welche in der Analyse betrachtet werden, bevor die Beschreibung des Bewertungsschemas erfolgt:

  1. API
  2. Datenanalyse (quantitativ)
  3. Datenanalyse (qualitativ)
  4. Sentimentanalyse
  5. Datenextraktion
  6. Engagementmöglichkeiten
  7. Personalisierbarkeit
  8. Handlungsempfehlungen
  9. Sprachunterstützung
  10. Preis / Leistungsverhältnis
  11. Unterstützung verschiedener Quellen
  12. Usability

Die Bewertung dieser Properties erfolgt nach einem 4-stufigen System, welches zwischen 0 und 3 Punkten für jede Property vergibt. Diese Bewertung sieht wie folgt aus:

  • 0 Punkte: Property nicht erfüllt
  • 1 Punkt: Property unzureichend erfüllt
  • 2 Punkte: Property zufriendestellend erfüllt
  • 3 Punkte: Property äußerst zufriedenstellend erfüllt

Die genaue Aufschlüsselung, wann für welche Property welche Punkte vergeben werden sollen, wird hier nicht aufgeschlüsselt werden. Diese Informationen werden aber in der Arbeit zu finden sein. Das Schema bemüht sich dabei um größtmögliche Objektivität, welche allerdings zunächst dadurch untergraben werden wird, dass im Zuge dieser Arbeit nur der Autor selbst die Bewertung vornimmt.

Es wäre also aufbauend auf dieser Arbeit denkbar, das Verfahren als Web Applikation zu implementieren und mit Hilfe dieser das Prinzip von „Wisdom of the Crowds“ auszunutzen, um eine ausreichende Objektivität zu erreichen.

Zum guter Letzt sei hier noch die Berechnung der Punkte an sich darzulegen, da diese die Basis für die abschließende Rangliste darstellt:

Szenario 1:

Für jede Property gibt es zwischen 0 und 3 Punkten. Diese Punkte werden mit dem Wert der jeweiligen Priorität der Property innerhalb der Kategorie multipliziert und dann aufsummiert. Insgesamt ergibt sich also eine Maximalpunktzahl von 144 (unter der Annahme, dass alle Properties die höchste Priorität haben können und die höchsten Punkte bekommen). Hier wäre der Vorteil, dass direkt die Punkte verglichen werden könnten.

Szenario 2:

Eine weitere Variante, welche für die Berechnung denkbar ist, stellt sich dabei wie folgt da: Nämlich, dass die Maximalpunkte direkt durch die Kategorien gegeben werden, da nicht alle Properties die gleiche Priorität erhalten werden. Somit wäre die Maximalpunktzahl begrenzt durch die Summe über alle Properties (12), welche alle die volle Punktzahl erhalten haben (3) und der gewählten Priorität innerhalb der Kategorie. Für die Platzierung innerhalb der Rangliste muss also die Prozentzahl der erreichten Punkte herangezogen werden, um eine Vergleichbarkeit auch über Kategoriegrenzen hinaus zu gewährleisten.

Formel für die Berechnung - anwendbar auf beide Szenarien

Da die Entscheidung für eins der beiden Szenarien noch nicht gefallen ist, würde ich mich sehr darüber freuen, wenn ich dazu Feedback bekommen könnte. Vielen Dank.

Eine Antwort to “Analyseverfahren für SMM Tools”

Trackbacks/Pingbacks

  1. SMM Tool Kategorisierung und erste Analyse-Schritte « Studentenblogs DDI@UPB - 28. Dezember 2011

    […] die Analyse von 19 Tools wurde nun als erstes die Usability dieser Werkzeuge mit Hilfe des System Usability […]

Schreibe einen Kommentar

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s

%d Bloggern gefällt das: