Ich seh das ganze ziemlich gelassen. Die alten ELO-Listen sind - zumindest zum Teil - durch Partien gegen Menschen geeicht.

Realistische Zahlen werden wir nur kriegen, wenn diejenigen unter uns, die eine eingetragene ELO (oder DWZ)-Zahl haben unter fairen Bedingungen gegen unsere Schätzchen antreten. Keine Partien im stillen Kämmerlein sondern offen auf unserem Wettkampfserver. Damit kann man ein Mogeln zwar auch nicht ausschließen, aber wenn einer sich nur um seine Züge kümmert und der andere den Rechner bedient ist zumindest der unbewusste Drang mal kurz die "Info"-Taste zu drücken doch etwas gedämpft. Und wenn auf einmal Stockfish-Züge eintrudeln merkt der Computer-Bediener das auch.

Bei den Partien der Rechner untereinander haben wir ja jetzt schon recht schöne Wettkämpfe (Hiarcs-RISC bzw Berlin Pro) über eine größere Anzahl von Partien. Wenn die in die nächste Liste mit einfließen dann werden die entsprechenden Geräte automatisch nach unten (oder im Fall von Hiarcs nach oben) korrigiert. Je mehr User sich finden solche spannenden Wettkämpfe zu organisieren umso genauer und aussagekräftiger wird die Liste.

Das einzige Problem solcher Listen sehe ich darin, dass immer wieder von einem gewissen Startwert aus die komplette Datenbank durchgerechnet wird und nicht wie beim Weltschachbund nur die Änderungen. Und diese Änderungen ergeben sich ja nicht nur daraus, dass sich die Spielstärke der Beteiligten ändert, sondern auch aus der Tatsache heraus, dass man im Turnierjahr 2 vielleicht eine ganz andere Gegnerschaft hatte als im Turnierjahr 1. Da kann es dann durchaus statistische Ungenauigkeiten geben.

Man nehme nur das Bespiel der kürzlich durchgeführten Turniere Hiarcs - Berlin Pro / RISC 2000. Würde man jetzt wie beim Weltschachbund rechnen würden die ELO-Zahlen von RISC und Berlin Pro stark fallen (wenn sie die Punktverluste nicht durch andere Wettkämpfe wieder ausgleichen). Rechnet man die gesamte Liste ab einem gewissen Startwert dann sind das 20 von vielen hundert (wenn nicht tausend) Partien, die so nicht so stark ins Gewicht fallen. Aber um das wirklich zu beurteilen müsste ich mir die Berechnungsalgorythmen genauer ansehen und da fehlt mir ehrlich gesagt im Moment die Zeit dazu. Nichts gegen Mathe und Statistik, aber man hat ja noch andere Hobbies (z.B. Schach spielen).

Insofern nehme ich die Listen als das was sie sind, als Anhaltspunkt für eine gewisse Spielstärke von einem gewissen Standpunkt aus betrachtet. Nicht mehr und nicht weniger. Und wer meint solche Listen nun mit den wirklichen menschlichen ELO-Zahlen vergleichen zu müssen die auf ganz andere Art entstanden sind, der mag gerne weiter Äpfel mit Birnen vergleichen. Er wird nur eins feststellen. Äpfel sehen anders aus und schmecken auch anders als Birnen. Mehr gibts dazu eigentlich nicht zu sagen.

__________________
Mein Profil beim ICCF (International Correspondence Chess Federation)
https://www.iccf.com/player?id=89948&tab=3

Hallo Hartmut,

naja, im Gegensatz zu dem faktenlosen Gebrülle aus dem CSS Forum, haben wir zumindest ein paar handfeste Sachen anzubieten. Gut, ist jetzt nicht viel, aber zumindest sind es Fakten.

Beispiele von Mitgliedern:

• Christian - "Endspielgott"

Chris (damalige Elo 2075) spielte 3 Turniere unter Aktivschachbedingungen. Ich hatte Chris während eines Chats einmal nach seiner Spielstärke auf Aktivschachlevel (rapid) befragt. Er schätze sich auf Aktivschach stärker ein. Mittlerweile liegt seine Turnier Elo bei 2121. Insgesamt spielte er 86 Partien.

• CM und die wilde 13
• Die wilde 13
• U2100

Durch Anklicken der Ergebnisse gelangt man zu den Partien.

• Stefan Timmermans

Stefan (Elo 1899) spielte auf Turnierstufe ein kleines U1950 Turnier. Insgesamt spielte er 10 Partien.

• U1950

Durch Anklicken der Ergebnisse gelangt man zu den Partien.



Aber eine andere Frage. Kann es sein, dass die Art der Elo Berechnung durch die 3 bekannten Programme an ihre Grenzen stößt und deshalb das Geschrei beginnt? Da die PC-Engine Listen ja aufgrund der Vielzahl an Partien gegen 3100 Elo Spielern extrem groß ist, können die Listen nicht falsch sein. Also muss die Sache unten geändert werden. Dabei kommen dann diese wirren Rechenbeispiele heraus. Fakten wären Partien gegen menschliche Gegner, um die Aussagen zu untermauern. Nein, man rechnet irgendetwas hoch und runter, bis es ins Weltbild passt. Auf jetzt einsetzende Rückfragen, kommt eine bekannte Diskussionstaktik zum Einsatz. Sehr unterhaltsam...

Bewegt man sich, wie bei den meisten Listen in dem kleinen bekannten Rahmen der Top Engines, passt die Nummer. Sind zwar völlig sinnlose Elo Phantastereien, die jeder Grundlage entbehren, aber egal, mit Statistik lässt sich ja alles belegen. Wenn man sich die Werte in der CCRL 40/4 ansieht, wird es langsam eng am Ende. Da muss Stockfish dann schon mit 3484 Elo herhalten.

Verwende ich ORDO (mittlerweile Standard bei vielen Ranglisten) für die Berechnung der Aktivliste und setze die Traumwerte von 2000 Elo für den R30 an (MM V hätte dann ~1590), so lande ich am Ende der Liste sogar im negativen Bereich. Was nun? Heißt das, die Geräte am Ende der Liste spielen einfach unterirdisch? Oder ist die ganze Wahrscheinlichkeitsrechnung am Ende wahrscheinlich unwahrscheinlich?

Gruß
Micha

Tasc r30 bei 2000. unglaublich .
Und ich dachte ich hätte schon alles im computerschach erlebt

__________________
Die ganze Welt des Computerschachs

Nicht meine Aussage -> s.h. CSS Forum. Da wurden 2000 für den R30 veranschlagt, eigentlich sogar darunter. Ansonsten passt doch die MMV Elo Geschichte nicht.

Langsam erkennt man die Idee hinter der ganzen Nummer.

Stimmt. Und das finde ich auch das gute an unserer Liste. Wir haben nicht nur die Partien vom SSDF sondern auch eigene Partien, die wir in die Wertung einbringen können. Das ist nachgewiesenermaßen mehr als gewisse Schreihälse aus dem CSS-Forum beizutragen haben.

...


Ich denke davon kannst du ausgehen. Genau deswegen sind die Leute ja so verwirrt. Das was diese Programme machen ist eine Berechnung die auf einen vorgegebenen Startwert geeicht ist. Daraus resultiert nun ein berechneter Wert der die ganze Liste nun umverteilt. Dabei werden jedoch wichtige Punkte des ELO-Systems vernachlässigt, wie ich es oben schon beschrieben habe.

Yep, es ist wirklich unterhaltsam. Dabei fragt man sich aber - mit einer gewissen Berechtigung - wie man auf die Idee kommt dass die Listen nicht falsch sein können. Wie gesagt, jede der Listen basiert auf einem gewissen Startwert. Wo nimmt man den auf welcher Grundlage her? Warum diesen und keinen anderen? Einige Listen erklären noch auf welchem Startwert für die Berechnung diese Werte basieren. Keine erklärt auf welcher Grundlage man diesen und keinen anderen Wert genommen hat. Insofern sind alle diese Werte mehr oder weniger spekulativ. Sieht man sich dann die Werte genauer an, dann merkt man dass einige Engines nur immer wieder gegen bestimmte andere Engines antreten. Die Gegnerschaft ist meist überschaubar. Das ist als wenn zich Jahre lang nur im SV Hintertupfing mit Vereinskollegen gespielt und nie an einem externen Turnier teilgenommen hat. Und sowas soll vergleichbar sein? Das kann meines Erachtens nur ein total Irrer annehmen.

Das könnte bei der Bedenkzeit sogar stimmen. Gegen einen menschlichen Spieler im Modus 40/4 spielt Stockfish vermutlich wie Gott persönlich... Da gibt es nicht mal eine messbare Wahrscheinlichkeit für ein Remis aus 100 Partien.



Sie ist unwahrscheinlich schon aufgrund des oftmals fiktiven Startwertes aber auch aufgrund der Berechnungsmethode.

Viele meinen man dürfte die ELO-Zahl nicht berechnen wie es beispielsweise die FIDE macht, weil ein Computer im Gegensatz zu einem menschlichen Spieler sich ja nicht verbessert (wenn er fleissig übt) oder verschlechtert (wenn im Alter die Leistung nachlässt), und auch sonst keinen Formschwankungen unterworfen ist. Dabei ist das ein Fehlschluss. Denn mit jedem Turnier ändert sich ja normalerweise die Gegnerschaft und damit die Relation in der eine Wertungsveränderung zu sehen ist. Die Formschwankung ist damit nur ein kleiner Teil, der in die Berechnung einfließt. Die gibt es eventuell in einem Computerturnier auch. Sei es weil das Zufallsprinzip zuschlägt, sei es weil Eröffnungen gespielt werden die dem Programm eigentlich nicht liegen (was ein Mensch normalerweise nicht tun würde) etc. So gesehen hat auch der Computer Formschwankungen, nur sind die anderer Art. Aber es gibt noch mehrere Unterschiede.

Ist ein Spieler ohne Wertung und nimmt an einem Turnier teil, dann wird der Startwert an bestimmten Kriterien (in der Regel Durchschnitt der gewerteten Spieler) festgemacht und die endgültige Wertung dann am Ergebnis in Relation zu diesem Startwert festgemacht. Es müssen in einem Turnier auch immer eine gewisse Anzahl von Spielern gewertet sein, damit eine Wertung ungewerteter Spieler überhaupt erfolgen kann. In der Folge wird jedes Turnier neu ausgewertet oder wie beim ICCF 4mal im Jahr eine ELO-Zahl auf Basis der seit der letzten Auswertung gespielten Partien errechnet.

Die gängigen Programme, ganz egal ob ORDO, BayesElo oder ELOStat arbeiten hier total anders. Sie könnten einigermaßen genau arbeiten, wenn man sich die Mühe machen würde einzelne Turniere oder eine Serie von Partien aus einem bestimmten Zeitraum auszuwerten. Man hätte dann die alten ELO-Werte, die Veränderungen aus den gespielten Partien, einen Offset für noch ungewertete Programme basierend auf dem Durchschnitt der gewerteten Programme gegen die gespielt wird und damit eine genaue Auswertung.

Stattdessen wird einigen Programmen mit Offset ein Wert zugeordnet von dem niemand weiss wo er herkommt und dann eine riesige Liste durchlaufen. Das was dann am Schluss rauskommt ist mehr Spekulation als irgendetwas anderes. Vor allem weil die Offset-Werte nicht nachvollziehbar sind.

Warum z.B. bei deinem ORDO-Beispiel negative Werte am unteren Ende der Liste möglich sind...

Naja... eigentlich ist das nur deswegen möglich weil eben die Berechnungsgrundlagen von der normalen ELO-Berechnung abweichen. In der FIDE-ELO-Berechnung wäre das nicht möglich. Einerseits weil es einen Mindestwert gibt, bis zu dem ein Spieler noch geführt wird (liegt glaube ich bei 1200) und damit darunter keine ELO-Berechnung stattfindet, andererseits weil gewisse Regeln bei der Berechnung gelten. Ist z.B. der Unterschied zwischen 2 Spielern > 400 ELO Punkte so wird für die Berechnung ein Unterschied von 400 genommen. Damit wird verhindert, das ein Spieler unrealistische ELO-Werte bekommt indem er nur gegen zu schwache Gegner antritt. Bei den normalen ELO-Formeln liegt für diesen Fall die Gewinnerwartung auch bereits bei 92 %. Damit wäre für mehr als 400 Punkte Unterschied auch für den stärkeren kaum mehr was zu gewinnen. Wie es hier bei ORDO, ELoStat und Co ist, weiss ich nicht, vermutlich unterscheiden sich die Berechnungen aber auch hier.

Das Berechnungssystem der Fide könnte man natürlich ebenso in ein Programm pressen wie man Programme wie ELOStat oder ORDO schreiben kann, die rechnen das bei der FIDE schließlich auch nicht per Hand aus. Aber das bedeutet eben dass man nicht mehr so rechnen darf wie es die gängigen ELO-Listen jetzt machen. Man kann eben nicht mehr beliebig viele Partien aus 3 Jahrzehnten wild durcheinanderwürfeln, sondern muss wirklich Stück für Stück Zeiträume oder Turniere auswertet und neue Programme per Offset auf realistische Werte einstellen. Aber dazu ist man schlicht zu faul. Man hat zwar Zeit automatische zichttausende von Partien spielen zu lassen, aber die Zeit für eine ordentliche Liste will man eben nicht opfern. Im Moment erscheint das alles recht willkürlich. Bei uns wäre die normale ELO-Berechnung aufgrund der pro Jahr durchaus überschaubaren Partien-/Turnier-/Wettkampfzahl übrigens ein durchaus vertretbarer Aufwand wenn man ein Programm hätte, welches nach FIDE-Regeln arbeitet.

Wer mehr zur Berechnung von "richtigen" ELO-Zahlen lesen will, darf sich das gerne mal auf den FIDE-Seiten reinziehen. Vielleicht will ja einer auch ein entsprechendes Programm schreiben, lach

http://www.fide.com/fide/handbook.ht...7&view=article

Puh... jetzt hab ich doch weit mehr dazu geschrieben, als ich eigentlich wollte... Zeit fürs Bett.

__________________
Mein Profil beim ICCF (International Correspondence Chess Federation)
https://www.iccf.com/player?id=89948&tab=3

Früher war die Computerliste durch Partien gegen Menschen in ihrem Leistungsbereich sehr gut mit der menschlichen Elozahl vergleichbar. Auch passten die Elowerte durch die Aktualität gut dazu.

Wenn heute die Spitze der Computerliste Werte von gut über 3000 erreicht, dann liegt das über 1000 Punkte über dem Niveau der Vergleichspartien. Wir befinden uns hier deutlich außerhalb des Bereichs, den Arpad Elo damals für seine Berechnungen zur Verfügung stand.

Kern der Eloberechnungen sind zwei Annahmen: Bei einer Differenz von x Punkten kann ein guter Erwartungswert von y% angegeben, unabhängig vom Niveau der Spieler. Und es ist unabhängig vom genauen Pool der Gegner, solange dieser ausreichend groß ist.

Wir haben es aber in den letzten Jahren erlebt, dass Spieler aus einzelnen Ländern Schwierigkeiten beim Nachweis ihrer Elozahl bei Spielen gegen andere Regionen der Welt hatten. Und es hat einen kräftigen Zuwachs bei den Elozahlen an der Spitze gegeben. Allerdings ist das Schachspiel auch besser geworden, so dass hier keine numerische Bewertung dieses Effekts möglich ist. Es kann halt kein Großmeister heute gegen einen Großmeister von vor 30 Jahren mit dessen damaliger Leistung spielen.

Also ist die Elozahl für Menschen gut und wir haben nichts besseres. Aber es ist nicht perfekt. In den ersten Jahren war die Übereinstimmung zwischen der Computerliste und den Ergebnissen gegen Menschen gut genug um ebenfalls diese Berechnung zu nehmen. Aber es gab schon immer Zweifel und die statistischen Unsicherheiten machen es schwer diese Annahme (Verwendung des Elomodells für Menschen auch für Computer) zu widerlegen.

Der negative Bereich sieht nur unschön aus, spielt aber für den praktischen Einsatz für die Berechnung von Erwartungswerten keine Rolle.

Das ist falsch.

Die Auswertungsmethode per Elostat und Co. basiert auf der Annahme, dass die Erwartung in einem Duell zweier Computerprogramme zeitlich unverändert ist. Dies stimmt ja auch solange keine zu umfangreichen Lernmöglichkeiten implementiert werden (Gegenbeispiel BeBe). Es gibt keine Formschwankungen, es gibt nur die Statistik und die kann man mathematisch beschreiben.

Diese Art der Berechnung schließt eine zeitliche Entwicklung aus, kann also für menschliche Gegner nicht oder nur für sehr kurze Zeiträume angewendet werden.

So, ich habe nun etwas nachgedacht, vielleicht sind die Gedanken dazu ja nicht ganz falsch:
denken wir mal nur an die Rechengeschwindigkeit...
das Problem ist, dass Schachprogramme laut den ELO Listen sehr stark vom Geschwindigkeitszuwachs profitieren, wenn sie gegeneinander spielen.
Man spricht von 70 Elopunkten bei Verdoppelung der Geschwindigkeit.
Mag sein und das Ergebnis spiegelt sich ja auch 1:1 in den ELO Listen wieder- das ist mathematisch gesehen auch vollkommen korrekt.
Das führt aber m.E. dazu, dass die Spreizung vom ersten zum letzten- ELO-mässig korrekt berechnet zu einer Differenz führt, die eben vom Menschen nicht so gefühlt wird.

Heisst: egal welcher Startwert für die Berechnung, die Spreizung ist zu hoch und liegt an der Computer gegebenen Eigenschaft.
Wenn sich für mich ein Computer der 1800 ComputerElo hat so anfühlt wie ein 1800er gemäss Menschen Elo, ist er 4x schneller trotzdem kein 1940er.
Ich habe in den letzten Monaten doch ein paar Partien gegen die Compis gespielt, aber eher gegen 2000 aufwärts- und hier ist der subjektive Eindruck entstanden, dass die Werte zu hoch sind.

Lassen wir die Liste wie sie ist, ein MMV wird eventuell gemäss Liste performen, ein London 68030 vermutlich nicht.

Das kann man einfach auch so akzeptieren und seine Schlüsse selber ziehen.

Ein generelles Abziehen von Punkten über die gesamte Liste ist daher m. E. Unsinn und bringt uns keinen Schritt weiter hinsichtlich Vergleichbarkeit ComputerElos und MenschenELOs.

@borromeus: Du brauchst es nicht auf die Verbesserung durch höhere Rechengeschwindigkeiten verkürzen, es scheint mir eine wahrscheinliche Erklärung zu sein, dass Programme anders auf Spielstärkeunterschiede reagieren als Menschen.

Rechenbeispiel: Wir haben C1800, ein Schachcomputer mit einer Leistung von ca. 1800 gegen Menschen. Und wir haben C2000, ein besseres Programm und einer Leistung von ca. 2000 gegen Menschen. Jetzt lassen wir beiden Computer gegeneinander antreten und erwarten 76% für C2000. Aber stimmt das auch?

Wenn sich aus vielen solcher Matches zwischen Cxxxx und Cyyyy ergeben würde, dass bei nominell 200 Punkten Unterschied ein Erwartungswert von 85% heraus kommt, was würde das für unsere Tabellen bedeuten? Nun, 85% entsprechen 300 Elo Unterschied, d.h. bei nominell 1050 Elo Differenz zwischen einem aktuellen Spitzenprogramm auf angemessener Hardware und einem Spitzenprogramm vor 30 Jahren ergeben sich für eine menschliche Skala nur 700 Elo Differenz - der Unterschied von 350 Elo ist jetzt natürlich rein zufällig.

Die Frage ist natürlich auch, stimmt die angenommen Verteilung überhaupt für Computer? Bayes-Elo usw. sind ja Ergebnis der Suche nach einer Verteilung, halt immer ausgehend von der für Menschen per Definition passenden Beschreibung.

Und da trifft Statistik auf Logik. Die Annahme ist nämlich falsch. Wäre die Annahme richtig, dann wäre eine Auswertung unnötig. Man wüsste ja aufgrund der zeitlich unlimitierten Erwartung bereits wer der bessere ist. Die ELO-Auswertung lebt aber davon dass die Erwartungen aufgrund der Berechnungen sich mit der Zeit ändern. Verfälscht wird das ganze dann noch dass man glaubt vom genauen Pool der Gegner unabhängig zu sein solange dieser groß genug ist, wie Du in einem anderen Post schreibst. Nun, das ist eine schöne mathematische Behauptung. Aber wie in der Mathematik üblich muss man solche Theorien auch beweisen. Und diesen Beweis habe ich bisher nirgends gesehen.

__________________
Mein Profil beim ICCF (International Correspondence Chess Federation)
https://www.iccf.com/player?id=89948&tab=3