Hm, ich habe mich wohl nicht deutlich genug ausgedrückt. Es scheint einige Missverständnisse zu geben.

Zitat von
spacious_mind
Ja, das problem ist ich moechte auch ein CC1 als Beispiel vergleichen koennen. (CC1 is eigentlich ein scherz er kann ja nicht zugruckgaben machen

)
Man sollte nicht vergessen das ich einen Test suche fuer saemtlichen Brettschachcomputers als aller erste, daher ist es nicht moeglich ins Baumstamm zu schauen bei den Meissten alten schwachen Schachcomputers. Wie in meine obigen Beispiele, da spielt ein CXG 3000, CC9, MK12 und Constellation Junior.
Daher den Weg du erwaehnst geht hier nicht so richtig ausser ich mache das nur fuer die Top Brettcomputers und dann Lohnt sich das nicht mehr.
Ein Schachcomputer muss nur folgendes können: In einer Stellung einen Zug bei gegebener Zeiteinstellung (z.B. für Turnierspiel) auswählen. Das können alle Schachcomputer!
Spielt man eine Partie nach, so können sogar Schachcomputer ohne Stellungseingabe verwendet werden wenn ein Zug zurückgenommen werden kann. Es braucht noch nicht einmal eine nummerische Bewertung, es reicht der ausgewählte Zug auf einer Stufe.

Zitat von
spacious_mind
1) Unabhaengige Positionen.
Hier wuerde ich keinen Weiteren Test machen. Ich habe es ja schon versucht. Das klappt nicht gut fuer Brett Computers. Ich habe ca 50 volle Tests die man damals gemacht hat, von BT 2450, 2630, 2830. Fine Test Kaufmann Test usw usw.
Keiner von den Funktioniert richtig weil alle mit der Hand ausgwaehlt wahren und bestimmte Programme haben daher Ihre Vorteile und bestimmte Programme Ihre nachteile. Ausserdem die Stellung ist die geschmack sache der Person und nichts mehr.
Die von Dir angeführten Stellungstests versuchen alle Schlüsselzüge zu finden und sind deshalb ausgewählt worden. Leider ist dieses Auswahlverfahren sehr schwer für einen Menschen. Deswegen meine Idee um auch Stellungen ohne den einen Schlüsselzug verwenden zu können. Die Gewichtung solcher Stellungen ergibt sich automatisch. Hat man dann Ergebnisse einiger Schachcomputer, dann kann man für einzelne Stellungen die Relevanz überlegen. So macht es wahrscheinlich keinen Sinn, wenn alle Schachcomputer dieselben Züge auswählen wie das Referenzprogramm oder maximal unbedeutende Abweichungen produzieren. Weichen einige Schachcomputer aber stärker ab, so scheint die Stellung zur Unterscheidung der Schachcomputer nützlich zu sein.

Zitat von
spacious_mind
2) Baumstamm analysieren
Ich finde das auch nicht der Richtige Weg. Ich versuche mal zu erklaeren wieso. Alte Schachcomputers leben fuer Heute und nicht fuer Morgen. Damit meine ich das ein Zug wird gerechnet und der Computer entscheidet sich fuer seinen besten Zug und die meissten rechnen nur innerhalb 30 sekunden 4 ply Tief. Daher so wie ein Mensch muessen sie sich entscheiden welcher der beste Zug ist. In Ihren Kopf haben sie auch zum teil die analyse fuer diese entscheidung. Der computer der pondert hat dann hier seinen Vorteil und manchmal auch seinen Nachteil wenn er zu selektiv rechnet. Der Gegner spielt jetzt sein gegen Zug und der Computer muss ploetzlich wieder von neu Rechnen weil zu 80% (wenn er die Pondern faehigkeit hat) spielt der Gegner ein Zug was er nicht in sein Gehirn erwartet hatte. Und so nach einer Rechnenzeit, entscheidet er sich wieder fuer was er meint der beste Zug ist.
Den Baumstamm zu Analysieren hat hier kein Sinn weil der Brettcomputer Zug fuer Zug neu Rechnet (zu 80%) und wieder Entscheidet was fuer Ihn der Beste Zug ist. Es ist diese entscheidung (diesen Fakt) die ich in mein Rating Test bewerte und nicht was die Zukunft vielleicht bringt oder nicht bringt.
Das verstehe ich nicht. Was meinst Du mit "Baumstamm analysieren"?
Den Effekt guter Vorhersagen und damit erfolgreicher Ponderei ist schwer zu erfassen. Da hier das Timing der gegnerischen Züge entscheident ist, würde ich das nur im direkten Vergleich testen. Stellungstest können das nicht.

Zitat von
spacious_mind
3) Computer Analyse.
Ich habe absichtlich ein Programm genommen was viel staerker ist als ich damit ich keine selbst entscheidung hier mache. Das gleiche mit der 21 Ply. Ich nehme an das die besten Zuege Bewertet sind und mit dieser Bewertung werden die Computers verglichen. Auch mein Punkt System ist Haar genau gerechnet (siehe unten). Ich koennte auch 5 von den besten Programme nehmen und den Durchschnitt deren 10 Besten Zuege rechnen. Das waere vielleicht noch genauer aber wuerde dann 5 mal so lange dauern um vielleicht 0,1 (ein Zehntel) zu aendern in der bewertung.
Richtig, für den Anfang dürfte ein sehr starkes Program ausreichen. Ob man später noch mal weitere Programme mit in die Vorgaben einbeziehen sollte? Man kann es ja probieren, die Hauptarbeit mit den Schachcomputern bleibt davon ja unabhängig. Es werden also keine Ergebnisse ungültig, was ich für sehr wichtig halte. Man steckt halt einmal den Aufwand in die Analyse mit dem Schachprogramm und kann danach beliebig viele Schachcomputer testen. Schick wäre die Verwendung von frei verfügbaren Programmen, weil dann alle ohne finanziellen Aufwand den kompletten test nachvollziehen können. Dies hilft Fehler leichter zu erkennen und ermöglicht die Arbeitsteilung indem jeder Tester selber Teststellungen bzw. Testpartien beisteuern kann.
Vielleicht sollte das Testverfahren noch ein wenig besprochen werden und dann erst mit der Sammlung von Daten begonnen werden? Das würde ermöglichen, dass möglichst viel vom Aufwand auch wirklich am Ende genutzt werden kann.