Ich habe mit den zur Zeit im Mephisto Phoenix enthaltenen nativen Engines einen BT-Test durchgeführt.

Dafür wurde für jedes Programm die Grund-Systemeinstellungen belassen.
Über "CHESS-SETT" habe ich folgende Parameter Angepasst:

Komodo 14.1: HASH -> 1024; THREAD -> 2; PONDER -> off; SPEED -> 100%
Shredder 13.5: ELO -> 2800; HASH -> 1024; THREAD -> 2; PONDER -> off; SPEED -> 100%
Shredder 13,5 NNUE: ELO - off; HASH -> 1024; THREAD -> 2; PONDER -> off; SPEED -> 100%
HIARCS 14.2: ELO - off; HASH -> 1024; PONDER -> off; SPEED -> 100%
STOCKFISH 15: NNUE: ELO - off; HASH -> 1024; THREAD -> 2; PONDER -> off; SPEED -> 100%; NNUE -> off
STOCKFISH 15 NNUE: NNUE: ELO - off; HASH -> 1024; THREAD -> 2; PONDER -> off; SPEED -> 100%; NNUE -> on

Es wurden beide Testreihen durchgeführt, also BT-2450 und BT-2630.

Da nur die Stellungen 13, 15, 16, 21, 23, 28 und 29 in den beiden Testreihen unterschiedlich sind, habe ich beide Lösungen in einer Tabelle zzusammengefasst.
Die schwarz geschriebenen Werte entsprechen dem BT-2450 Test, wo dann bei den oben genannten Stellungen die blauen entsprechend dem BT-2630 Test zuzuordnen sind.

Nummer	Lösung	Komodo 14.1	Shredder 13.5	Shredder 13.5 NNUE	Hiarcs 14.2	Stockfish 15	Stockfish 15 NNUE
...........	...........	...........	...........	...........	...........	...........	...........
01	1.Sxg7	000	000	000	001	000	000
...........	...........	...........	...........	...........	...........	...........	...........
02	1.Lxb6	001	016	010	001	001	001
...........	...........	...........	...........	...........	...........	...........	...........
03	1.Te6	001	002	002	002	005	006
...........	...........	...........	...........	...........	...........	...........	...........
04	1.Df7	900	900	900	004	258	004
...........	...........	...........	...........	...........	...........	...........	...........
05	1.Ka6	001	001	001	001	001	001
...........	...........	...........	...........	...........	...........	...........	...........
06	1.e3	001	002	009	001	001	005
...........	...........	...........	...........	...........	...........	...........	...........
07	1...Td6	002	002	003	001	005	007
...........	...........	...........	...........	...........	...........	...........	...........
08	1.Txc6+	000	000	000	000	000	000
...........	...........	...........	...........	...........	...........	...........	...........
09	1...g5	004	114	011	002	001	001
...........	...........	...........	...........	...........	...........	...........	...........
10	1.Txg7+	003	002	001	002	000	002
...........	...........	...........	...........	...........	...........	...........	...........
11	1...Dxh2+	005	001	001	001	003	000
...........	...........	...........	...........	...........	...........	...........	...........
12	1...De4	011	900	822	001	900	040
...........	...........	...........	...........	...........	...........	...........	...........
13	1.Sb4	002	015	014	003	015	011
13	1...Le6	002	002	009	001	001	001
...........	...........	...........	...........	...........	...........	...........	...........
14	1.Txh7	002	004	006	002	065	032
...........	...........	...........	...........	...........	...........	...........	...........
15	1.Tg6	000	003	008	000	000	000
15	1.e5	002	000	000	005	000	001
...........	...........	...........	...........	...........	...........	...........	...........
16	1...g6	003	001	001	001	001	001
16	1...Sxg2	002	900	900	017	001	001
...........	...........	...........	...........	...........	...........	...........	...........
17	1.Dxf4	002	001	001	001	006	011
...........	...........	...........	...........	...........	...........	...........	...........
18	1.d6	001	001	003	000	000	000
...........	...........	...........	...........	...........	...........	...........	...........
19	1...f3	006	041	033	001	190	900
...........	...........	...........	...........	...........	...........	...........	...........
20	1.Ta2	001	003	010	001	002	002
...........	...........	...........	...........	...........	...........	...........	...........
21	1.Te6	000	001	000	000	000	000
21	1.Te1	002	068	079	003	001	002
...........	...........	...........	...........	...........	...........	...........	...........
22	1...a3	000	000	000	001	000	000
...........	...........	...........	...........	...........	...........	...........	...........
23	1.Df6	001	001	000	001	014	018
23	1.g4	006	051	050	001	002	003
...........	...........	...........	...........	...........	...........	...........	...........
24	1.g6	003	449	417	004	000	000
...........	...........	...........	...........	...........	...........	...........	...........
25	1...Sd3	003	015	012	002	003	900
...........	...........	...........	...........	...........	...........	...........	...........
26	1.f5	043	900	029	001	002	002
...........	...........	...........	...........	...........	...........	...........	...........
27	1.e6	900	900	900	900	900	900
...........	...........	...........	...........	...........	...........	...........	...........
28	1.Se4	001	000	000	001	000	000
28	1.e5	900	900	900	018	900	900
...........	...........	...........	...........	...........	...........	...........	...........
29	1.Ke1	900	900	900	796	900	900
29	1.0-0-0	900	030	017	009	900	900
...........	...........	...........	...........	...........	...........	...........	...........
30	1.f4	001	000	002	001	000	000
...........	...........	...........	...........	...........	...........	...........	...........
BT	Summe	2798	5175	4096	1734	3985	3749
2450	ELO	2357	2278	2313	2392	2317	2325
...........	...........	...........	...........	...........	...........	...........	...........
BT	Summe	3705	6205	5128	986	4860	3727
2630	EOL	2507	2423	2459	2597	2468	2506

Besonders ist mir aufgefallen, das bei der Stellung 27 des BT-2450 Test der gesuchte Zug 1.e6! nicht der wirklich stärkste ist.
Alle Engines fanden nach wenigen Sekunden den Zug 1.Lb4 als den besseren.

Gruß
Rüdiger

__________________
shine on...

Hallo Rüdiger,

das ist ja interessant, danke für den Hinweis! Dann müsste man eigentlich die bisher getesteten Geräte nochmal auf diese Stellung ansetzen, denn vielleicht haben manche 1. Lb4 tatsächlich als besser bewertet...

Viele Grüße
Robert

Ich habe jetzt begonnen, auch die anderen Stellungen mit Komodo 13 zu prüfen (da die Tests als pgn und epd vorliegen, ist das ja recht einfach)

Bei BT2450-04 scheint 1. Df7 auch nur zu Remis zu führen (nach einiger Zeit wird Tf1 als etwas besser bewertet +0,72); aber das zu erkennen, dürfte für Oldies kaum möglich sein.

Und bei BT2450-29 wird nach ein paar Sekunden 1. Dd8 als etwas besser als 1. Ke1 eingestuft.

Viele Grüße
Robert

Grossartige (Gedulds-)Arbeit Rüdiger. Vielen Dank.
Gruss
Kurt

Hallo Rüdiger,

danke für den Test.

Allerdings „krankt“ der Test daran, dass die Höchstgrenze auf 2630 Test-Elo begrenzt ist. Ich würde schätzen, die Engines sind stärker, als die veranschlagten Test-Elos. Die BT-Tests waren mehr für die alten Schachcomputer so ab 1750 Elo gedacht. Für die Engines der heutigen Generation stellen diese Aufgaben keine große Herausforderung dar. Schlimmer sogar, sie widerlegen sogar Aufgaben.

Gruß
Micha

... und wer weiß, vielleicht in 10 Jahren, wenn die Engines bei Elo 5000 angelangt sein werden und beste Züge über eine Tiefe von 40 oder 50 Zügen [*gröhl*] finden, sind wieder andere Züge die dann stärksten, oder die zuvor von schwachen Computern gefundenen Lösungszüge sind plötzlich doch wieder die besten, weil tiefere Fortsetzungen sich als besser erweisen könnten.

Aber ist es nicht so, dass je tiefer gerechnet wird, desto mehr Abschneidungsfehler schleichen sich ein? Bin da kein Experte, Ihr wisst es besser.

Gruß!

Die Testreihe hat zwar einigen an Zeit beansprucht, doch das hielt sich in Grenzen, da ich den Test jeweils mit einer Videokamera aufgenommen habe.
So brauchte ich nur nach mindestens 15 Minuten in mein Arbeitszimmer gehen und den aktuellen Test stoppen.
Da ich 128GB SD Karten benutze, passt schon einiges darauf, auch wenn ich erst nach 1 Stunde die Möglichkeit hatte, den Rechenvorgang zu stoppen.

Meine Vorgehensweise war folgende:
1 - Stellung auf dem Brett aufbauen
2 - Engine anwählen und die Einstellungen in CHESS-SETT anpassen
3 - COMF MENU -> SHOW-ACTU aktivieren
4 - Aufnahme mit der Kamera starten
5 - MODE -> POSITION -> Zugfarbe aktivieren -> CONFIRM
6 - MODE -> HUMAN-ANALYSE (Start der Berechnung)
7 - nach min. 15 Min. Aufnahme beenden
weiter mit der nächsten Engine bei Punkt 2
Wenn alle gewünschten Engines diese Stellung berechnet haben weiter mit Punkt 1

Nach jeder Serie habe ich dann im Schnittprogramm die sekundengenaue Auswertung vorgenommen und in einer Exceltabelle eingetragen.
Durch meine Formeln habe ich dann alle benötigten Daten.
So trage ich auch ein, welches der beste Berechnete Zug nach 15 Minuten war, wenn ein anderer Zug bevorzugt wurde und wie die Engine die Stellung dann bewertet.
Auch erfasse ich, wenn ein Matt erkannt wurde und nach welcher Zeit.

Wenn einer von Euch Interesse an meiner Tabelle hat, dann bitte eine PN.


Gruß
Rüdiger

Miniaturansicht angehängter Grafiken

 

__________________
shine on...

Gerade müssen die Bilder sein, immer gerade
Aber eine coole Sache mit der Camera. Man könnte noch nach 15 Minuten eine Eieruhr klingeln lassen.

Miniaturansicht angehängter Grafiken

 

Bin ehrlich gesagt sehr tief beeindruckt!
Toll gemacht!
Das ganze Setting hat absoluten Proficharakter!

Gruß
Karl