Hm, ich habe mich wohl nicht deutlich genug ausgedrückt. Es scheint einige Missverständnisse zu geben.
Ein Schachcomputer muss nur folgendes können: In einer Stellung einen Zug bei gegebener Zeiteinstellung (z.B. für Turnierspiel) auswählen. Das können alle Schachcomputer!
Spielt man eine Partie nach, so können sogar Schachcomputer ohne Stellungseingabe verwendet werden wenn ein Zug zurückgenommen werden kann. Es braucht noch nicht einmal eine nummerische Bewertung, es reicht der ausgewählte Zug auf einer Stufe.
Die von Dir angeführten Stellungstests versuchen alle Schlüsselzüge zu finden und sind deshalb ausgewählt worden. Leider ist dieses Auswahlverfahren sehr schwer für einen Menschen. Deswegen meine Idee um auch Stellungen ohne den einen Schlüsselzug verwenden zu können. Die Gewichtung solcher Stellungen ergibt sich automatisch. Hat man dann Ergebnisse einiger Schachcomputer, dann kann man für einzelne Stellungen die Relevanz überlegen. So macht es wahrscheinlich keinen Sinn, wenn alle Schachcomputer dieselben Züge auswählen wie das Referenzprogramm oder maximal unbedeutende Abweichungen produzieren. Weichen einige Schachcomputer aber stärker ab, so scheint die Stellung zur Unterscheidung der Schachcomputer nützlich zu sein.
Das verstehe ich nicht. Was meinst Du mit "Baumstamm analysieren"?
Den Effekt guter Vorhersagen und damit erfolgreicher Ponderei ist schwer zu erfassen. Da hier das Timing der gegnerischen Züge entscheident ist, würde ich das nur im direkten Vergleich testen. Stellungstest können das nicht.
Richtig, für den Anfang dürfte ein sehr starkes Program ausreichen. Ob man später noch mal weitere Programme mit in die Vorgaben einbeziehen sollte? Man kann es ja probieren, die Hauptarbeit mit den Schachcomputern bleibt davon ja unabhängig. Es werden also keine Ergebnisse ungültig, was ich für sehr wichtig halte. Man steckt halt einmal den Aufwand in die Analyse mit dem Schachprogramm und kann danach beliebig viele Schachcomputer testen. Schick wäre die Verwendung von frei verfügbaren Programmen, weil dann alle ohne finanziellen Aufwand den kompletten test nachvollziehen können. Dies hilft Fehler leichter zu erkennen und ermöglicht die Arbeitsteilung indem jeder Tester selber Teststellungen bzw. Testpartien beisteuern kann.
Vielleicht sollte das Testverfahren noch ein wenig besprochen werden und dann erst mit der Sammlung von Daten begonnen werden? Das würde ermöglichen, dass möglichst viel vom Aufwand auch wirklich am Ende genutzt werden kann.