Autor Thema: Produktbewertungen: Auswertung und Übersicht  (Gelesen 141910 mal)

Yinan

  • Hero Member
  • *****
  • Beiträge: 5.291
  • U3BsaXR0ZXJtb25k
    • Profil anzeigen
Re: Produktbewertungen: Auswertung und Übersicht
« Antwort #60 am: 02 Jan 2018, 15:08:54 »
Die Frage ist, wie die Liste dann aussehen sollte. Bisher ist es ja nach der Platzierung sortiert, die sich auf Basis der normalen durchschnittlichen Bewertung ergibt.

Sollen die Listen dupliziert werden mit Platzierungsreihenfolge nach "geek rating"? Soll das einfach nur dazu gemacht werden (und eventuell auch der Platz nach "geek rating") aber mit der alten Reihenfolge?

Das Skript anzupassen sollte nicht so schwierig sein. Habe mir gerade mal n Fork erstellt und es mir angesehen und den letzten Fall kann man da ziemlich einfach mit einbauen (wären einfach nur 2 weitere Attribute die berechnet werden und bei der Ausgabe für den BBCode muss dann nurnoch die beiden Felder mit angegeben werden). Dann kann ich n Pull-Request machen und wenn 4 Port USB Hub das dann annimmt, ist es auch im Master-Branch drin.

Du solltest da auch mal n Pull-Request erstellen für die Änderungen, die du bereits gemacht hast, Thallion. Habe mich gerade gewundert, warum denn mehr als nur 2 Anthologien angezeigt werden, obwohl im Code nur 2 stehen. Aber du hattest ja bereits einen Fork mit Änderungen gemacht.
Sollte da meinen Fork wieder entfernen und n Fork von deinem machen oder warten, bis der Pull-Request durch ist...


Wegen den Anthologien-Links:
Das liegt, wenn ich das richtig sehe, daran, dass Anthologien keinen eigenen Thread haben sondern nur die Abenteuer in den Anthologien. Insofern gibt es gar kein Ziel, wohin der Link führen könnte. Und da diese wie gesagt keinen eigenen Thread haben, fehlt im Code auch eine entsprechende Angabe dafür und somit kann kein Link generiert werden.
Wenn nicht anders gesagt, dann befassen sich meine Aussagen zu Regeln niemals mit Realismus oder Simulationismus, sondern nur mit Balancing.
----
Space is GOD DAMN TERRIFYING! Novas and Hypernovas are natures reminder that we can be wiped out instantly at any given time.

Thallion

  • Moderator
  • Sr. Member
  • *****
  • Beiträge: 250
    • Profil anzeigen
Re: Produktbewertungen: Auswertung und Übersicht
« Antwort #61 am: 02 Jan 2018, 15:12:43 »
Ja, ich kann bei Gelegenheit mal meine PY-Datei wieder nach GitHub hochladen.

Jeong Jeong

  • Korsaren
  • Hero Member
  • *
  • Beiträge: 3.782
  • Autorin und Cosplayerin
    • Profil anzeigen
Re: Produktbewertungen: Auswertung und Übersicht
« Antwort #62 am: 02 Jan 2018, 15:15:56 »
Würde nur der Durchschnittswert der Bewertungen genannt und vielleicht auch die Platzierung, würde ich Jeong Jeong zustimmen. Da aber auch die Stimmenanzahl direkt dahinter steht, kann man selber das für dich doch auch einordnen und relativieren.

Ich finde ja auch, dass das im Moment gerade noch so geht. Aber das immer so im Kopf zu machen, ist halt auch nur grobes Abschätzen und wenn man mehrere Publikationen so vergleichen will, stößt man dabei auch schnell an seine Grenzen. Ein standardisiertes Verfahren wie das von boardgamegeek wäre hier eine enorme Erleichterung.


Die Frage ist, wie die Liste dann aussehen sollte. Bisher ist es ja nach der Platzierung sortiert, die sich auf Basis der normalen durchschnittlichen Bewertung ergibt.

Sollen die Listen dupliziert werden mit Platzierungsreihenfolge nach "geek rating"? Soll das einfach nur dazu gemacht werden (und eventuell auch der Platz nach "geek rating") aber mit der alten Reihenfolge?

Hier im Forum gehen ja leider keine sortierbaren Listen. In der Splitterwiki könnte man aber beispielsweise einen extra Artikel für Produktbewertungen aus dem Forum anlegen und dort wären die Listen dann nach allen Kriterien sortierbar.

Yinan

  • Hero Member
  • *****
  • Beiträge: 5.291
  • U3BsaXR0ZXJtb25k
    • Profil anzeigen
Re: Produktbewertungen: Auswertung und Übersicht
« Antwort #63 am: 02 Jan 2018, 16:29:34 »
Also letztendlich ein zweites Skript, dass etwas entsprechendes für die Splitterwiki ausgibt.
Weil ich glaube nicht, dass die Splitterwiki bbcode hat wie hier im Forum...
Wenn nicht anders gesagt, dann befassen sich meine Aussagen zu Regeln niemals mit Realismus oder Simulationismus, sondern nur mit Balancing.
----
Space is GOD DAMN TERRIFYING! Novas and Hypernovas are natures reminder that we can be wiped out instantly at any given time.

Yinan

  • Hero Member
  • *****
  • Beiträge: 5.291
  • U3BsaXR0ZXJtb25k
    • Profil anzeigen
Re: Produktbewertungen: Auswertung und Übersicht
« Antwort #64 am: 02 Jan 2018, 21:14:41 »
Für alle, die an der "Geek Bewertung" (wir haben es jetzt "Spezielle Bewertung" genannt) interessiert sind bzw. wie es das "Ranking" beeinflusst, können den derzeitigen Stand hier betrachten: Produktbewertungen in der Splitterwiki
Wenn nicht anders gesagt, dann befassen sich meine Aussagen zu Regeln niemals mit Realismus oder Simulationismus, sondern nur mit Balancing.
----
Space is GOD DAMN TERRIFYING! Novas and Hypernovas are natures reminder that we can be wiped out instantly at any given time.

Olibino

  • Hero Member
  • *****
  • Beiträge: 1.113
    • Profil anzeigen
Re: Produktbewertungen: Auswertung und Übersicht
« Antwort #65 am: 02 Jan 2018, 21:33:29 »
Das hat ja sehr drastische Auswirkungen.

Zum einen ist eine Bewertung von 3,5 zwar theoretisch Durchschnitt, in der Praxis ist der Durchschnitt der Produktbewertungen aber viel besser. Da werden durch die 3,5 alle nach unten gezogen. Wäre es nicht besser den Durchschnitt der normalen Bewertungen zu nehmen?

Da bei den meisten Produkten ohnehin nicht so viele Leute abstimmen, heißt 50x Durchschnittsnote dass die Bewertung dann bei den meisten Produkten sehr nah an der Durchschnittsnote liegt. Ich würde eher 10x Durchschnittsnote vorschlagen.

Yinan

  • Hero Member
  • *****
  • Beiträge: 5.291
  • U3BsaXR0ZXJtb25k
    • Profil anzeigen
Re: Produktbewertungen: Auswertung und Übersicht
« Antwort #66 am: 02 Jan 2018, 21:38:09 »
Ursprünglich war es sogar 100x Durchschnittsnote.

Letztendlich ist es das Ziel der Speziellen Bewertung eine hohe Anzahl an bestehenden Stimmen zu "belohnen" gegenüber denen mit wenigen Stimmen, da letzteres halt ein stark verzerrtes Bild geben kann wo 2-3 Stimme dafür sorgen, dass die Bewertung wesentlich besser ist, obwohl das halt nur von wenigen Leuten ist.

Dadurch, dass wir 50 Stimmen rein packen, sind die Bewertungen untereinander halt stabiler.

Die Spezielle Bewertung ist also nicht wirklich dafür geeignet zu sagen wie gut oder schlecht etwas ist. Es geht eher um die Relation zwischen den einzelnen Speziellen Bewertungen und die daraus folgende "Platzierung".
Wenn nicht anders gesagt, dann befassen sich meine Aussagen zu Regeln niemals mit Realismus oder Simulationismus, sondern nur mit Balancing.
----
Space is GOD DAMN TERRIFYING! Novas and Hypernovas are natures reminder that we can be wiped out instantly at any given time.

Belfionn

  • Hero Member
  • *****
  • Beiträge: 529
    • Profil anzeigen
Re: Produktbewertungen: Auswertung und Übersicht
« Antwort #67 am: 02 Jan 2018, 22:52:26 »
Einerseits kann ich Jeong Jeongs und Yinans Idee nachvollziehen, andererseits habe ich dieses Feature bisher nie vermisst. Gerade dadurch, dass in der Auflistung im ersten Post ja die Anzahl der Stimmen angegeben wird, habe ich bis jetzt immer auf den ersten Blick berücksichtigt, wie aussagekräftig die Note bisher wohl ist. Selbst bei amazon und anderen Plattformen, auf denen man Produkte bewerten kann und auf denen es zwischen Null und tausenden Bewertungen alles gibt, muss ich selbst die Note in Relation zu den abgegebenen Stimmen setzen. Insofern bin ich ohnehin an dieses Vorgehen gewöhnt.

Für Splittermondprodukte, bei denen ja auch nach einer ersten Welle nur noch relativ wenige Bewertungen nach und nach dazukommen und sich fast alle irgendwo im Bereich bis ungefähr 70, 80 Bewertungen einpendeln (Abenteuer meist noch deutlich weniger), halte ich a) den Aufwand (auch langfristig) für unnötig und b) wie Olibino die Diskrepanz für zu groß.
Die BGG-Bewertung verstehe ich zwar, aber hätte ich diese aktuelle Diskussion und die Erklärung im Wiki nicht mitverfolgt, d.h. wäre ich relativ spontan irgendwann mal in die Übersicht gestolpert, hätte ich mich wahrscheinlich über die deutlich unterschiedlichen Werte gewundert.

Jeong Jeong

  • Korsaren
  • Hero Member
  • *
  • Beiträge: 3.782
  • Autorin und Cosplayerin
    • Profil anzeigen
Re: Produktbewertungen: Auswertung und Übersicht
« Antwort #68 am: 02 Jan 2018, 23:08:32 »
Für Splittermondprodukte, bei denen ja auch nach einer ersten Welle nur noch relativ wenige Bewertungen nach und nach dazukommen und sich fast alle irgendwo im Bereich bis ungefähr 70, 80 Bewertungen einpendeln (Abenteuer meist noch deutlich weniger), halte ich a) den Aufwand (auch langfristig) für unnötig und b) wie Olibino die Diskrepanz für zu groß.
Die BGG-Bewertung verstehe ich zwar, aber hätte ich diese aktuelle Diskussion und die Erklärung im Wiki nicht mitverfolgt, d.h. wäre ich relativ spontan irgendwann mal in die Übersicht gestolpert, hätte ich mich wahrscheinlich über die deutlich unterschiedlichen Werte gewundert.

Den Aufwand haben Yinan und ich (vor allem Yinan :) ) ja bereits auf uns genommen und die Idee ist im Moment, dass der Splitterwiki-Artikel in Zukunft idealerweise von einem Bot aktualisiert wird. Da muss also niemals mehr jemand Hand anlegen, solange nichts am Script geändert werden soll.

Und im Splitterwiki-Artikel ist dann auch noch über den Übersichtstabellen direkt erklärt, wie es zur Speziall Wertung kommt und warum sie so ist, wie sie ist.

Aber so ist es doch gut gelöst: wir haben die Spezial Wertung in der Splitterwiki, wo sie sich jeder, der daran interessiert ist, anschauen kann. Schön wäre es noch, den Splitterwiki-Artikel hier im Eröffnungsbeitrag zu verlinken. Neben der Spezial Wertung kann dieser ja auch noch mit nach der Stimmenzahl sortierbaren Tabellen punkten. :)

Belfionn

  • Hero Member
  • *****
  • Beiträge: 529
    • Profil anzeigen
Re: Produktbewertungen: Auswertung und Übersicht
« Antwort #69 am: 02 Jan 2018, 23:11:50 »
Zitat von:  Jeong Jeong
Aber so ist es doch gut gelöst: wir haben die Spezial Wertung in der Splitterwiki, wo sie sich jeder, der daran interessiert ist, anschauen kann. Schön wäre es noch, den Splitterwiki-Artikel hier im Eröffnungsbeitrag zu verlinken. Neben der Spezial Wertung kann dieser ja auch noch mit nach der Stimmenzahl sortierbaren Tabellen punkten. :)

Das kann ich so unterschreiben!  :)

Yinan

  • Hero Member
  • *****
  • Beiträge: 5.291
  • U3BsaXR0ZXJtb25k
    • Profil anzeigen
Re: Produktbewertungen: Auswertung und Übersicht
« Antwort #70 am: 02 Jan 2018, 23:26:52 »
Selbst bei amazon und anderen Plattformen, auf denen man Produkte bewerten kann und auf denen es zwischen Null und tausenden Bewertungen alles gibt, muss ich selbst die Note in Relation zu den abgegebenen Stimmen setzen.
Lustigerweise wird gerade Amazon häufig als Negativ-Beispiel gebracht wenn es um Rating-Systeme gibt. Und wie immer gilt auch, dass "andere machen es auch nur so" kein guter Grund dafür ist, etwas zu tun bzw. etwas nicht zu tun.

Und ich würde dir ja auch zustimmen, dass die Spezielle Bewertung fehl am Platz ist, wenn das die einzige Bewertung wäre. Aber das ist es ja nicht.
Du hast deine ganz normale durchschnitts-Bewertung und die initiale Sortierung geht genau nach dieser Sortierung. Die Spezielle Bewertung hingegen kommt erst nach der normalen Bewertung und dann muss man es auch selbst explizit auswählen, die Liste so zu sortieren.

Ich habe es ja schonmal erwähnt, aber man sollte halt die Spezielle Wertung nicht als absolute Bewertung nehmen. Die Spezielle Wertung sorgt by Design dafür, dass es wesentlich schwerer wird eine besonders gute Bewertung zu bekommen (aber gleichzeitig auch eine besonders schlechte Wertung zu bekommen). Jedes bisschen, dass man von der durchschnittlichen möglichen Wertung weg kommt ist dabei wesentlich mehr Wert, als bei der normalen Bewertung.

Und das der Aufwand unnötig ist:
Der Aufwand ist bereits getan ^^
Ich muss bei dem Skript, wenn ich es so lasse, wie es ist, jetzt auch nurnoch die Thread ID der neuen Publikationen rein tun und das wars. Und wenn wir in der Splitterwiki auch die Übersicht haben wollen, dann müsste das so oder so gemacht werden. Das Skript musste nur einmal angepasst werden, damit auch der andere Wert berechnet wird und das wars.

Wegen das die Diskrepanz zu groß ist:
Das ist mehr oder weniger der Sinn der Sache (wenn auch nur indirekt). Es ist ja gerade das Ziel dieses Wertes, das Bewertungen mit vielen Stimmen ziemlich stabil sind und Bewertungen mit wenig Stimmen sehr instabil sind. Also stabil/instabil im Vergleich zu ihrer durchschnittlichen Bewertung.


Wobei ich ja auch inzwischen selbst festgestellt habe, dass die 50 Teilweise zu hoch sind.
Hatte dazu per PM auch schon folgendes geschrieben:
Zitat
Bei den Spielhilfen z.B. haben wir (abgerundet) durchschnittlich 66 Stimmen pro Produkt. Insofern sind wir mit den 50 schon recht gut da.
Bei den Kaufabenteuern hingegen kommen wir auf (abgerundet) durchschnittlich 19 Stimmen pro Produkt. Da könnte es echt sein, dass die 50 zu hoch gesetzt ist. Wir haben hier vor allem ein starkes Gefälle. Es geht von 52 zu 44 zu 37 zu 28, wo wir dann einige 20er haben und dann wieder einen starken Fall von 20 auf 14 haben wo es dann quasi konstant runter geht mit ganz vielen im Bereich 2-5.

Insofern stimme ich zu, dass im Ergebnis, wenn man die Werte absolut betrachtet, die 50 Stimmen bei den Kaufabenteuern etwas zu viel ist. Hier würde ich eher runter auf 20 senken.
Insofern werde ich da morgen vermutlich nochmal etwas Arbeit reinstecken und das Skript so umschreiben, dass ich pro Kategorie das berechne und ich am besten auch noch die zusätzlichen Stimmen für die Spezielle Bewertung dynamisch berechne.
Das ist Zeit/Aufwand, die nur von mir weg geht. Die "Smufanten", wie sie ja mal früher gerne genannt wurden (also die Redakteure, Autoren etc. von Splittermond) sind ja davon 0 betroffen, insofern ist das ja eine rein Private Sache, ob man sich den Aufwand machen will oder nicht.


Und ich sehe gerade, dass es Jeong Jeong viel kürzer auf den Punkt gebracht hat und dabei wohl auch viel freundlicher rüber kommt als ich ^^
Letztendlich geht es mir auch darum, dass ich die Bewertung interessant finde und ich Spaß daran habe, das zu machen. Insofern schadet es ja sowieso niemanden, wenn der Wert da ist :)
Wenn nicht anders gesagt, dann befassen sich meine Aussagen zu Regeln niemals mit Realismus oder Simulationismus, sondern nur mit Balancing.
----
Space is GOD DAMN TERRIFYING! Novas and Hypernovas are natures reminder that we can be wiped out instantly at any given time.

Thallion

  • Moderator
  • Sr. Member
  • *****
  • Beiträge: 250
    • Profil anzeigen
Re: Produktbewertungen: Auswertung und Übersicht
« Antwort #71 am: 03 Jan 2018, 09:40:26 »

Quendan

  • Gast
Re: Produktbewertungen: Auswertung und Übersicht
« Antwort #72 am: 03 Jan 2018, 10:14:34 »
Das hat ja sehr drastische Auswirkungen.

Zum einen ist eine Bewertung von 3,5 zwar theoretisch Durchschnitt, in der Praxis ist der Durchschnitt der Produktbewertungen aber viel besser. Da werden durch die 3,5 alle nach unten gezogen. Wäre es nicht besser den Durchschnitt der normalen Bewertungen zu nehmen?

Da bei den meisten Produkten ohnehin nicht so viele Leute abstimmen, heißt 50x Durchschnittsnote dass die Bewertung dann bei den meisten Produkten sehr nah an der Durchschnittsnote liegt. Ich würde eher 10x Durchschnittsnote vorschlagen.

Ich stimme Olibino da zu: Man sieht ja, dass sich dadurch *alle* Noten verschlechtern, auch bei den Produkten mit vielen Stimmen. Einfach weil 3,5 gar nicht der Durchschnitt der Splittermond-Bewertungen ist.

Übrigens ebenfalls bedenkenswert (wobei ich nicht weiß, wie das mit euren technischen Mitteln umsetzbar ist): Zusatzstimmen nur bis zu einer bestimmten Stimmenzahl aufschlagen. Also wenn ein Produkt nur 5 Stimmen hat, wird bis zur Mindeststimmenzahl die festgelegt wird (50 erscheint mir auch viel, aber rechnen wir einfach mal damit) 45 Durchschnittsstimmen aufgeschlagen. Bei 35 Bewertungen nur noch 15. Bei 60 Stimmen wird gar nichts aufgeschlagen. So ähnlich funktionieren manche anderen gemittelten Bewertungssysteme (Gunmarks bei World of Tanks z.B. ;) ).

Im Endeffekt sollen das die Leute entscheiden, die es auch nutzen/machen, aber in der aktuellen Form fände ich es z.B. nur schwerlich nutzbar, da es eben alles einfach nach unten zieht und dadurch ebenso ein verzerrtes Bild liefert.

Jeong Jeong

  • Korsaren
  • Hero Member
  • *
  • Beiträge: 3.782
  • Autorin und Cosplayerin
    • Profil anzeigen
Re: Produktbewertungen: Auswertung und Übersicht
« Antwort #73 am: 03 Jan 2018, 11:18:36 »
Es ist aktuell halt eine rein relative Angabe, die nur dem Vergleich der Produkte untereinander dient. Das werde ich später auch nochmal in der Wiki hervorheben.

Zur Machbarkeit von mathematischen Alternativen kann nur Yinan was sagen.

Yinan

  • Hero Member
  • *****
  • Beiträge: 5.291
  • U3BsaXR0ZXJtb25k
    • Profil anzeigen
Re: Produktbewertungen: Auswertung und Übersicht
« Antwort #74 am: 03 Jan 2018, 12:11:00 »
Übrigens ebenfalls bedenkenswert (wobei ich nicht weiß, wie das mit euren technischen Mitteln umsetzbar ist): Zusatzstimmen nur bis zu einer bestimmten Stimmenzahl aufschlagen. Also wenn ein Produkt nur 5 Stimmen hat, wird bis zur Mindeststimmenzahl die festgelegt wird (50 erscheint mir auch viel, aber rechnen wir einfach mal damit) 45 Durchschnittsstimmen aufgeschlagen. Bei 35 Bewertungen nur noch 15. Bei 60 Stimmen wird gar nichts aufgeschlagen. So ähnlich funktionieren manche anderen gemittelten Bewertungssysteme (Gunmarks bei World of Tanks z.B. ;) ).
Gibt es dafür irgend eine mathematische Grundlage, die man sich dafür ansehen könnte?
Weil was wir derzeitig benutzen ist der s.g. "Bayes'sche Durchschnitt" bzw. die "Bayes'sche Bewertung" (im englischen "Bayesian average"), die ist erforscht, da weiß man wofür das ist und was man macht.
Daher die Frage ob es das für das von dir genannte Verfahren auch eine Grundlage gibt. Auf den ersten Blick hört sich das für mich nämlich nicht sonderlich sinnvoll an, das es sich mir etwas widerstrebt innerhalb der gleichen Kategorie unterschiedliche "Manipulationen" anzuwenden für die Produkte anstatt gleiche, aber ich lasse mich gerne eines Besseren belehren.


Was ich aber gerade am überlegen bin zu machen, ist, dass ich die "Bewertung" komplett entferne und durch eine "Platzierung" ersetze. Dadurch wird dann niemand mehr auf die nicht so gute Idee kommen, den Wert als "richtige Note" zu nehmen sondern als das zu nehmen, was es mMn gerade am ehesten ist: ein Wert, der die Produkte in Relation zueinander setzt bzgl. der "Gewissheit der Note".

Bei den Anthologien würde es dann so aussehen:
Zitat
Anthologien
Platz   Bewertung   Stimmen   Bayes Platzierung  Produkt   
11.851Verwunschene Mauern
21.87962An den Küsten der Kristallsee
31.98573Unter Wölfen
42.31134Zwischen den Welten
52.94155Alter Friede, neuer Streit
Damit wäre das dann halt wirklich nurnoch eine Realtion / Platzierungsangabe zwischen den Produkten und man hätte nicht mehr eine "Bewertung".
Aber da bräuchte ich auch nochmal Input dazu ^ ^

Das die Noten schlechter werden ist halt "by Design". Je mehr Stimmen man hat, desto weniger unterscheidet sich die Bayes'sche Bewertung von der eigentlichen Bewertung. Es handelt sich halt um eine reine Bereinigung der Unsicherheit durch zu wenig Stimmen (i.e. weniger Stimmen haben ein geringeres Gewicht als viele Stimmen, die ein hohes Gewicht haben).


Btw. letztendlich umsetzen lassen sich alle Varianten, die einen einfallen, ich muss nur das Skript entsprechend anpassen (und ich werde es sowieso nochmal komplett umschreiben, weil das Original-Skript von 4 Port USB Hub für den Zweck dieses Forumsthreads wunderbar funktioniert, aber nicht den Ansprüchen für so eine komplexere Berechnung genügt wie wir sie in der Splitterwiki mit einbauen wollen).
Wenn nicht anders gesagt, dann befassen sich meine Aussagen zu Regeln niemals mit Realismus oder Simulationismus, sondern nur mit Balancing.
----
Space is GOD DAMN TERRIFYING! Novas and Hypernovas are natures reminder that we can be wiped out instantly at any given time.