Wenn die Flaggschiff-Modelle der drei großen KI-Giganten OpenAI, Anthropic und Google gegeneinander antreten – wer kann Roboter besser steuern?
Am 20. Oktober veröffentlichte RoboColiseum, eine Embodied-Arena, die gemeinsam von fast 20 Hochschulen, Unternehmen und Forschungseinrichtungen weltweit – darunter Mifeng Technology, Hugging Face, NVIDIA und die Tsinghua-Universität – ins Leben gerufen wurde, die Ergebnisse dieser Evaluierungsrunde: Claude Opus 5.5 belegte den ersten Gesamtplatz unter den vier Flaggschiff-Modellen, dicht gefolgt von GPT-6 Astra.
Betrachtet man die Einzelkategorien, so liegt GPT-6 Astra unter den vier Flaggschiff-Modellen bei Instruction Following und allgemeiner Störungsanpassung vorn, wobei die Instruction-Following-Punktzahl 99,35 erreicht; Opus zeigt bessere Leistungen bei räumlichem Verständnis und allgemeinen Manipulationsaufgaben und sicherte sich mit dem geringsten Token-Verbrauch über alle Evaluierungsrunden den ersten Gesamtplatz in der Flaggschiff-Gruppe. Im Test mit Störungen der Bildqualität fiel GPT-6.1 Sol deutlich hinter die anderen drei Modelle zurück, was die unterschiedliche Stabilität der Modelle bei Veränderungen visueller Informationen zeigt.
Die beiden Erstplatzierten dieser Runde sind jedoch nach wie vor Embodied-Policy-Modelle, die insbesondere in der Dimension der allgemeinen Manipulation ihre Stärken behaupten.
Dieser direkte Vergleich bietet der Branche eine anschauliche Referenz, um die Stärken und Schwächen allgemeiner großer Modelle einerseits und Embodied-Policy-Modellen andererseits zu erkennen.
RoboColiseum hat rund um Instruction Following, räumliches Verständnis, Störungsanpassung und allgemeine Manipulation vier Unterranglisten für Fähigkeitskategorien sowie 78 hochpräzise Simulations-Evaluierungsaufgaben eingeführt. Damit werden sowohl die Einzelleistungen der Modelle dargestellt als auch die Aufgabenbearbeitungsschritte und Fehlerstellen dokumentiert, um Entwicklern zu helfen, die Schwachstellen der Modellfähigkeiten schnell zu lokalisieren.
Als Mitinitiator stellt Mifeng RoboColiseum hochpräzise Objekt-Assets und Simulationsszenarien zur Verfügung, unterstützt den Aufbau von Evaluierungsumgebungen für komplexe Roboter-Manipulationsaufgaben und liefert Grundressourcen für Modellfähigkeitstests unter verschiedenen Objektinteraktionen, räumlichen Anordnungen und Umgebungsbedingungen.
Ob die Ergebnisse von Modellen in der Simulation die tatsächliche Bedienleistung widerspiegeln können, ist ebenfalls entscheidend für die Evaluierung. Laut den von der Plattform veröffentlichten Testergebnissen erreicht die Korrelation zwischen der RoboColiseum-Simulationsevaluierung und dem Einsatz auf realen Robotern 89,5 %, und die Evaluierungsunterschiede desselben Modells zwischen Simulation und realer Welt liegen unter 10 %, was Entwicklern eine Referenz für Modellauswahl und Problemlokalisierung vor dem Einstieg in echte Robotertests bietet.
Mifeng Technology bietet ein Datenversorgungssystem, das „vollständig, gut und schnell“ ist und drei große Datenparadigmen abdeckt: reale Roboter, Simulation und körperlose Daten. Im Bereich Simulation stellt Mifeng zwei Arten von Ressourcen bereit – Objekt-Assets und Umgebungs-Assets –, die verschiedene Alltagsgegenstände und Innenraumszenarien abdecken, und bietet Funktionen wie Szenenrekonstruktion, Erfassung von Experten-Trajektoriendaten und Visualisierung von Evaluierungsergebnissen, um Modellteams bei vielfältigem Training und vielfältiger Evaluierung zu unterstützen.
Der Begriff Coliseum bezeichnete ursprünglich das römische Amphitheater; RoboColiseum greift diese Bild auf und errichtet ein mehrdimensionales systematisches Evaluierungssystem, um mit einer Simulationsevaluierung, die hochgradig mit der realen Roboterleistung übereinstimmt, eine offene, neutrale und reproduzierbare „Arena“ und „Trainingsstätte“ für Embodied-Intelligence-Modelle zu schaffen. Jede Hochschule, Forschungseinrichtung oder jeder Unternehmensentwickler kann sein Modell einreichen und sich einer standardisierten „Prüfung“ unterziehen. Seit dem Start im August haben bereits mehr als 100 Teams aus dem In- und Ausland Modelltraining und -evaluierung auf der Plattform durchgeführt.
RoboColiseum ist jetzt für Entwickler weltweit geöffnet; Modellteams sind eingeladen, an der Evaluierung teilzunehmen.
