Mal so ein Nachtrag an die Leute, die die Werte für zu hoch halten: Schaut euch die alten Turniere an, sprich Porzer Open etc. pp. ... da haben Menschen mit "echten" Elo Werten gegen Computer gespielt und die Computer haben dort locker die Turnierperformance erzielt, die unserer Liste entsprechen ... teilweise sogar weit höher!

Wie gesagt, schaut euch die weit über 1000 Partien an, die GMs und IMs damals gegen Computer gespielt haben ... und welche Wertungen dabei rausgekommen sind! Wer dann noch meint, die Werte in der Liste seien zu hoch, nun ...

__________________
This post may not be reproduced without prior written permission.
Copyright (c) 1967-2024. All rights reserved to make me feel special. :-)

Warum so ein Startwert?

Oder anders gefragt: Welche Partien sollen in die Liste eingehen, auch andere als die hier aus dem Forum?
Für einen bestimmten Pool bekommt man eine relative Liste, diese kann man zwar beliebig auf einen absoluten Wert bringen, aber wie soll das beschrieben werden? Sind die Partien gegen Menschen bei der SSDF irgendwo aufgelistet? Und selbst wenn, wie hat sich die Elo-Leistung über die 30 Jahre hinweg entwickelt? Die menschliche Spitze hat ca. 100 Elo zugelegt und spielt anderes Schach als früher.

Hallo allerseits,

Meiner Meinung nach sind die Listen gut, so wie sie sind. Es mag zwar sein, dass einige Compis eventuell zu stark bewertet sind, aber ist das wirklich ein Beinbruch?
Wie bereits in einem anderen Posting erwähnt wurden unsere Brettis hauptsächlich zum spielen gegen Menschen gebaut, und da haben sie sich in Ihren Elo Klassen doch oft bewährt.
Was ist heute anders? Wir spielen bewusster (zumindest die Spieler, die es können) auf die Schwächen der Computer hin, die Spiele finden zu Hause im stillen Kämmerlein statt, wahrscheinlich wird die eigene Bedenkzeit doch hier und da mal überstrapaziert, vielleicht schauen wir uns auch die Bewertung und den vorgeschlagenen Zug an. All das geht gegen menschliche Spieler nicht.
Ich kann mich noch daran erinnern einen ukrainischen Grossmeister (Mikail Golubev) bei mir zu Hause gehabt zu haben, weil er bei uns im Verein ein Simultanturnier gab. Er spielte am Vorabend bei mir zu Hause unter anderem auch gegen meinen Tasc R30 und war von der Spielweise absolut angetan.
Im Simultanturnier am nächsten Tag konnte der R30 dann seine Partie sogar gewinnen, zwar im Simultan, aber immerhin. Der GM hatte zu der Zeit eine
Elo von ca 2500 Elo und hat im Simultan nur 2 oder 3 Partien verloren soweit ich mich erinnere.
Also so schlecht wie im CSS Forum dargestellt, sind unsere Lieblinge dann doch nicht.

viele Grüße
Markus

Kennst du eines der Berechnungsprogramme? Alle Programme (EloStat, Ordo, Bayeselo) erwarten die Angabe einer Startelo. Anhand dieser Zahl werden die Elo Zahlen aufgebaut. Die Abstände der Geräte untereinander bleiben davon aber unberührt. Dient eigentlich nur dazu, die ausgeworfenen Elo Zahlen, dem eigenen Empfinden anzupassen. Die Programme berechnen grundsätzlich nur die Abstände der Geräte zueinander.

Bei Aktivschachpartien kommen vereinzelt Turnier per E-Mail rein, aber der Rest zu 99% stammt aus dieser Community.

Bei den Turnierpartien sieht es etwas anders aus. Die überwiegende Zahl stammt aus der Community, der Rest von Personen die ernsthaft Turnierpartien spielen und diese auch veröffentlichen.

Gar nicht. Man kann schlecht mehrere Listen erstellen und diese dann vermischen.

Du findest ein paar Überreste auf der SSDF Seite. Leider sehr schlecht katalogisiert.

Tony´s Chess site: http://privat.bahnhof.se/wb432434/welcome.htm

Die SSDF hat ihren Wert im Laufe der Zeit auch angepasst. Es ist nicht so, dass man stur auf einem Anfangswert bestand. Damit meine ich jetzt nicht die 100 Punkte zum Abschluss. Anfang der 90er passte die Sache recht gut zu den erzielten Werten bei vielen Turnieren mit menschlicher Beteiligung.

Natürlich hat sich das Niveau im Top Bereich geändert. Aber wir reden hier nicht über 2800 Elo Geräte. Im Bereich z.B. von 1500 aufwärts hat sich die Welt nicht großartig geändert.

Das ist der Grund warum ich bei meinen engine tests immer "jeder gegen jeden Turniere" spiele. Statt matches oder spiessrute.

Bei den Schach Computern denke ich können wir mit Fug und Recht sagen die Werte sind korrekt. Umgekehrt wird ein Schuh daraus. Diese Elo Listen Werte sind nicht geeicht und Phantasie. Diesen Punkt habe ich im css Forum auch schon des öfteren vertreten. Und nun Rückschlüsse zu ziehen von ausgerechnet diesen fiktiven Phantasie Werten auf unsere Geräte. Das ist m.E.der Fehler. Aber wenn man das kritisiert wird man gerne mal mit irgendwelchen Statistiken niedergebrüllt. Über den Sinn dieser ganzen Automaten Daten, partien die kein Mensch anschaut und keiner nachprüfen kann, kann man herzlich streiten. Das ist wohl glaubenssache.

__________________
Die ganze Welt des Computerschachs

Und selbst da ändert sich so manches. Zu Zeiten als ich als Jugendlicher Heisssporn eine INGO-Zahl (ja die gab es damals noch... ich merk schon, ich werd ein alter Sack...) hatte, die etwa einer ELO von 1500 entsprach hatten wir noch Theoriebücher gelesen, teilweise alte Bücher vom Flohmarkt, weil für neue Bücher keine Kohle da war. Heute, wenn uns eine Variante begegnet, die wir nicht kennen, schmeissen wir das Internet an und finden zich Seiten mit theoretischen Abhandlungen, von Chessbase und Live-Book mal ganz zu schweigen. Damals wurde man mit einer unbekannten Variante mal reingelegt und hat gehofft dieser Variante nie wieder zu begegnen (wegen einer Niederlage kauft man nicht ein ganzes Schachbuch, wenn gerade das Taschengeld knapp ist). Heute zu Zeiten von Chessbase und Co heisst es: Legst Du mich 2mal rein muss ich mich ganz gewaltig schämen.

Ich denke daher schon dass sich auch in den Schachvereinen und unteren Mannschaften die Spielstärke dadurch gesteigert hat. Ich denke aber auch, dass man die Elo-Zahlen auch unter Menschen nicht immer vergleichen kann, denn sie stehen ja immer in Relation zur Gegnerschaft. Und diese Gegnerschaft bleibt in den ersten 2-3 Jahren in denen man die erste Vereinsluft schnuppert ja noch überschaubar.

Was mich an unserer Wiki-Liste jetzt allerdings noch interessieren würde ist folgendes: Wie wird die ELO-Zahl neuer Geräte (z.B. des Hiarcs auf Revelation) berechnet. Geht man da auch von einem Durchschnittlichen Startwert aus. Dann ist natürlich die Ungenauigkeit gerade im oberen Bereich nicht wirklich verwunderlich.

Bei der "normalen" Elo-Auswertung wird ja für den Spieler ohne Wertung ein von den Berechnungsregeln vorgegebener Wert genommen und nicht ein bestimmter Mittelwert angenommen. Auch werden dann ja nur die Veränderungen berechnet, ausgehend von der bereits erreichten Elo-Zahl. Dagegen spricht dass sich die Spielstärke eines Schachcomputers ja nicht ändert. Dafür spricht, dass die Gegnerschaft bei jeder Berechnung ja eine andere sein kann. Auch gibt es selbst unter Schachcomputern immer wieder Begegnungen wo man sagen kann: "Das ist einfach ein unangenehmer Gegner für das Gerät". Merkt man vor allem bei den Novag-Geräten die erwiesenermaßen gegen Menschen weit besser abschneiden als gegen andere Rechner. Da ist hat die Frage ob die Methode von EloStat dem wirklich gerecht wird.

Auch die Elo-Werte bei den verschiedenen Elolisten im Netz sind oftmals an den Haaren herbeigezogen (Selbst die Listen beim SSDF). Da spielt Gerät A gegen B 2 Partien, A gegen C 10 Partien und A gegen D 50 Partien. Man könnte es verstehen wenn A-B 2:0 ausgegangen wäre, möglicherweise auch mit 2 Kurzpartein, so dass bei mehr Partien eher ein 50:0 zu erwarten wäre. Ist aber oft nicht so (1,5 : 0,5 oder 1-1 ist da dann nicht selten). Wie wären die Zahlen wenn die Relationen gestimmt hätten? (Jeder gegen jeden 50 Partien). Man hat da manchmal den Eindruck: "Ich rechne mir die Welt, wie sie mir gefällt". Eventuelle Anlehnungen an Pippi Langstrumpf sind natürlich hier rein zufällig, lach.

__________________
Mein Profil beim ICCF (International Correspondence Chess Federation)
https://www.iccf.com/player?id=89948&tab=3

Ich habe extra keinen Namen genannt .
Wollte das lieber abstrakt diskutieren.
Ich denke er bringt da einiges durcheinander.
Manchmal fällt es mir schwer seine postings zusende zu lesen weil ich beim lesen den faden verliere.
Wir haben uns jedenfalls immer die Mühe gemacht die Ergebnisse und Einschätzungen nach vielen Seiten abzusichern.
Mein schachfreund IM Bernd kohlweyer z.b. Besuchte mich oft und hat gegen meine Schachcomputer gespielt. Er hat 2335.
Wir sind als Kinder im selben schachverein gewesen.
Ich habe ihn auch mit nach München genommen, wo er die WM kommentierte damals. Dort gewann hiarcs die Software Gruppe.

Schon der Millennium Chess Genius liegt über 2000 ELO.
Nichts anderes sagt der Hersteller auf dem Karton. Und ich denke das lässt sich auch halten. Denn lediglich die chessmachine konnte den aufhalten.
Erst der pro zog an dieser chessmachine vorbei. Der 48 MHz Kasten hat gegen die 16 MHz chessmachine immer verloren. Diese hat glaube ich auch 2200 ELO.

__________________
Die ganze Welt des Computerschachs

Ja, ich kenne die Programme. Auch wenn ich lieber mein eigenes verwendet habe.
Da wusste ich wenigstens was das Programm genau macht und hatte mehr Informationen über die statistischen Unsicherheiten.

Die Verwendung einer Startelo ist trotzdem zu hinterfragen. Denn die Unsicherheit dieses Startwerts ist wesentlich für die Rückschlüsse, die viele aus einer solchen Liste ziehen.

Dann wäre zu überlegen, ob nicht eine Liste ohne Startwert, d.h. Startelo = 0, die sauberste Darstellung wäre. Ein Elowert von +41 mit Fehlerbereich würde dann bedeuten, dass das Programm besser als der getestete Durchschnitt abschneidet. Für denjenigen, der den Wert aber lieber als Information zum Vergleich mit anderen Listen/Angaben/menschlichen Spielern vergleichen möchte, braucht es dann einen weiteren Wert, der aber unabhängig von den Testpartien ist.

Eine Angabe von Computer XY hat Elo 1717 kann immer kritisiert werden mit Aussagen wie "Das kann gar nicht stimmen, der hat mindestens 1750!"
Aber was wird da kritisiert? Wahrscheinlich nicht wirklich die Testpartien sondern eher die Schätzung was das im Vergleich mit anderen Listen bedeutet.

Bei manchen Beiträgen im CCC waren schon Dinge zu lesen wie: "Nach soundso vielen Partien habe ich für Programm A eine Elo von 3210 +- 3 ermittelt" und das ist Käse. Richtig ist, dass Programm A in einem Pool der Programme A, B, C und D eine relative Wertung von +11 +-3 erreicht hat. Mit einem Startwert von 3199 +-50 ergibt dies aber für einen Vergleichswert mit anderen Listen 3210 +-50.

Da liegt ein Missverständnis vor, ich habe ja nur eine Liste auf Basis all meiner Ergebnisse, kann aber sie aber mehrfach kalibrieren. So könnte ich meine Liste einmal wie oben beschrieben erstellen und den Basiswert zweimal angeben: Einmal aufgrund von Partien gegen Menschen für die Programme, die sowohl in meiner Liste sind als auch Ergebnisse gegen Menschen haben. Und zum anderen könnte ich eine andere Liste nehmen, z.B. die der SSDF und schauen mit welchem Basiswert habe ich insgesamt die geringste Abweichung (dies halte ich übrigens für eine sehr gute Methode für einen Vergleich).

Aber mehrere Listen können durchaus vermischt werden, es müssen halt vergleichbare Daten sein. Wenn ich also ein Turnier mit 1000 Partien spiele und Du eines mit 2000 Partien und die Bedenkzeit ist vergleichbar, dann kann dies zusammen auch als ein Turnier mit 3000 Partien angesehen werden. Es dürfen halt keine getrennten Cluster auftreten, aber das gilt auch schon für die einzelnen Turniere.

Ah, danke. 337 Partien mit 24 Programmen, das ergibt natürlich eine statistische Unsicherheit größer als die Angaben in den meisten Listen. Und man erhält nur einen Vergleich zum menschlichen Pool in Schweden (da dürften die meisten Partien gespielt worden sein) im Zeitraum von 1987-1991. Diese Beschränkung ist im Jahr 2000 wahrscheinlich schon so auffällig geworden, dass eine Änderung wirklich nötig wurde (ich habe es damals in der CSS nur gelesen und im USENET bzw. bei CCC gab es kaum zusätzliche Informationen). Eigentlich hätte es mindestens 300 neue Partien gegen Menschen gebraucht, aber daran hat es (für die Statistik) ja immer schon gemangelt. Auch erklärt sich so der Versatz um glatte 100 Punkte, eine bessere Zahl gibt es nicht.

Ja, für den Zeitraum kurz nach 1990 ist die Liste sehr konsistent.

Woher kommt diese Überzeugung? Eigentlich müsste man Geräte im Bereich von 1500-1700 gemäß gängiger Listen nehmen und gegen menschliche Schachspieler mit DWZ in dem Bereich spielen lassen, einige hundert Partien. Und dann könnte man Rückschlüsse daraus ziehen. Nur wüsste ich keinen, der diesen Aufwand hinbekommen könnte. 50 Partien in einem Schachverein wären schon eine große Leistung und der Ausschluss systematischer Fehler eine riesige Herausforderung. Und die statistische Unsicherheit immer noch groß.

Damit nicht die beiden wichtigen Fragen in längeren Dialogen untergehen, hier noch einmal kompakt:

zu 1.) Ja, denn solche Listen machen Spaß und bieten einen schnellen Überblick über die bei Testpartien erhaltenen Informationen (für das schachliche selbst bräuchte es andere Auswertungen bzw. man sollte sich jede Partie einzeln anschauen).

zu 2.) Sauber ist die Trennung von relativer Performance der Programme im Rahmen der gewerteten Partien und der Ermittlung einer absoluten Zahl um Vergleiche zu anderen Zahlen zu ermöglichen. Die (vollständige) Darstellung könnte also z.B. so aussehen:

Die Liste enthält bereits die Angabe von 1882 (Elo Reference Value), nur noch keine Begründung oder weitere Informationen dazu. Die angegebene Unsicherheit von +-27 beim Tasc R30 ist z.B. missverständlich. Sie bezieht sich nicht auf den Elowert von 2371, dies wird aber durch die Darstellung suggeriert. Und da dürften viele Verständnisprobleme herkommen.

Irgendwie bleibt mir nach wie vor verschlossen, warum es einen Bedarf zur "Korrektur" geben soll ...

1. Punkt: Wenn man Ergebnisse von Computern aus Turnieren mit Menschen anschaut, von Porz bis AEGON, dann sind die Werte gewiss nicht zu hoch ... mal ein Beispiel: Beim AEGON Turnier 1992 erreichte die Vancouver TM 2348 Elo, der Mephisto Berlin 2200, der Mephisto Risc sogar 2327 und die Fidelity V9 2231 Elo Punkte ... und Ergebnisse wie diese waren keine Ausnahme, sondern Standard!

Noch einmal: Es macht einen himmelweiten Unterschied aus, ob ich gegen einen Gegner spiele, den ich perfekt kenne oder gegen einen Unbekannten ... gut, gegen einen MC verliere ich immer, aber gegen einen Computer, dessen Schwächen ich nach 20 Jahren kenne, weiß ich intuitiv, was ich zu ziehen habe ... dann bitte nur "Vergleiche" unter echten Turnierbedingungen: Sprich, man weiß nicht, gegen wen man spielt und vor allem kein Einblick in den Rechenvorgang, korrekte Zeitnutzung auf beiden Seiten und keine Rücknahme von Zügen ... und schon habe selbst ich nicht mehr gegen den Revelation Glasgow 90%, sondern nur noch 50% der Punkte ... oh Wunder.

Wie gesagt, wenn ich all die Turniere, in denen Menschen mit anerkannten Titeln und Werten als Vergleichspartner hernehme, sind die Werte aus unserer Liste gewiss nicht zu hoch.

Eine kurze Anekdote zum Thema "aus einer Partie gegen einen Computer Rückschlüsse auf die Elo ziehen" ... als ich vor zwei Monaten bei Micha war, habe ich aus Spaß gegen Stockfisch 8 gespielt (mit DGT Brett gegen sein Ultrabook) ... SF bekam sogar 30 Sekunden pro Zug ... ich ließ mir massenhaft Zeit, kasperte sogar mit einer wilden Eröffnung nach dem Motto "schauen wir mal, wer zuerst dem anderen König auf die Pelle rückt" ... und letztendlich wurde es ein glückliches Remis ... für Stockfish 8 ... nur, weder werde ich jetzt behaupten, 2.800 Elo zu haben, noch werde ich Stockfisch auf 2.200 Elo reduzieren ...

2. Punkt: Letztendlich ist auch die Elostärke allgemein eine relative Geschichte ... beim Menschen wie beim Computer. In meiner aktiven Zeit hatte ich einen Lieblingsgegner, für den ich der Angstgegner war ... eigentlich hatte er 2.300 Punkte, ich dümpelte als Jugendlicher bei 2.100 umher ... aber gegen ihn holte ich Punkte wie der FC Bayern gegen den HSV ... dafür verlor ich immer wieder gegen Spieler, die eigentlich schlechter waren ... was vermutlich daran lag, dass ich mit einigen Eröffnungen gar nicht zurecht kam und dass ich sie einfach aufgrund ihrer Wertungszahl immer wieder unterschätzt habe (womit wir beim Thema Psychologie wären)... und auch heute merke ich, dass mir einige Computer deutlich besser "liegen" als andere ... obwohl beide ca. gleich stark sind. Und auch wenn man Computer vergleicht, stellt man schnell fest, dass jeder Computer "Angstgegner" hat und ihm andere Geräte wesentlich besser liegen ...

3. Punkt: Man sollte die Liste vielleicht einfach grundsätzlich etwas mehr als das sehen, was sie ursprünglich sein sollte: Eine grobe Vergleichsliste der Geräte untereinander ... und diesen Zweck erfüllt sie perfekt ... wenn ich zehn Geräte aus einer beliebigen 150er Elospanne nehme und ein Turier spielen lasse, habe ich interessante Partien in denen grundsätzlich jeder jeden schlagen kann ... aber die Wahrscheinlichkeit für einen Computer aus dem oberen Bereich dieser Spanne größer ist, dass er das Turnier gewinnen wird ... mit anderen Worten: Als Auswahlliste für Turniere ist sie perfekt geeignet und grundsätzlich kann man recht gut einschätzen, welches Gerät stärker als ein anderes aus der Liste ist ...

An meinem Beispiel zeigt sich noch ein anderer Punkt: Wenn die Computer im unteren Bereich der Liste zu schwach eingeordnet wären und die Geräte weiter oben um zum Beispiel 200 Punkte zu stark ... dann müsste es ja einen Bereich geben, wo bei einem Turnier die zu hoch bewerteten Geräte gegen die untere Hälfte untergehen ... nur, so einen Bereich habe ich bis heute nicht entdecken können.

Die Diskussion im CSS Forum kann ich nur belächeln ... das sind Stochastiker und keine Schachspieler ... die werden nie verstehen, dass ein MC im Turnier unter Stress einen Bock schießen kann, den ihr Stockfisch binnen 0,1 Sekunde als Mordsfehler bewertet und trotzdem +2.800 Elo haben soll ... aber so ist halt richtiges Schach: Spieler haben Schwankungen, machen Fehler ... auch und weil sie nicht auf dem Bildschirm sehen, was der Gegner denkt ...

Und genau deshalb haben auf den Turnieren damals wie auch in den Vereinen gute Spieler wie auch IMs etc. Punkte gegen Schachcomputer gelassen ... und die Computer haben sich die Wertungen redlich verdient, eben weil die Menschen damals normal gegen sie gespielt haben ... nur wer selbst spielt und das versteht, wird begreifen, wie unsinnig die Abwertungen sind, die da drüben diskutiert werden ...

Beste Grüße,
Sascha

__________________
This post may not be reproduced without prior written permission.
Copyright (c) 1967-2024. All rights reserved to make me feel special. :-)