Sześć najbardziej zaawansowanych modeli sztucznej inteligencji nie zdało testów matematycznych na poziomie badawczym: najlepszy wynik wyniósł zaledwie 2%

Matematycy opracowali nowe problemy w celu przetestowania umiejętności rozumowania sześciu najbardziej zaawansowanych modeli sztucznej inteligencji. Jednak sztuczna inteligencja nie zdała prawie wszystkich testów.

Nowoczesne modele sztucznej inteligencji mają trudności z rozwiązywaniem problemów matematycznych na poziomie badawczym. Nawet najbardziej zaawansowane systemy sztucznej inteligencji są w stanie rozwiązać tylko 2% z setek problemów, przed którymi stają, pisze LiveScience.

Według instytutu badawczego Epoch AI, matematykom ze stopniem doktora rozwiązywanie złożonych problemów zajmuje zwykle godziny lub dni. Najbardziej zaawansowane modele sztucznej inteligencji są w stanie rozwiązać mniej niż 2% z nich.

W ciągu ostatniej dekady opracowano szereg testów sztucznej inteligencji, a w wielu przypadkach modele AI z łatwością przechodzą te testy, twierdzą naukowcy. Na przykład w standardowym teście MMLU (Measuring Massive Multitask Language Understanding) nowoczesne modele AI odpowiadają poprawnie na 98% problemów matematycznych.

Większość z tych testów ma na celu sprawdzenie zdolności sztucznej inteligencji do wykonywania zadań matematycznych na poziomie szkoły średniej i college'u, pisze Elliot Glazer, matematyk z Epoch AI.

Jednak nowy zestaw testów o nazwie FrontierMath jest skierowany na wyższy poziom rozumowania. Epoch AI opracowała pytania z pomocą profesorów matematyki. Według twórców testy obejmują szeroki zakres poddziedzin, od teorii liczb po geometrię algebraiczną.

Odkrycia naukowców pokazują, że obecnie modele sztucznej inteligencji nie mają rozumowania matematycznego na poziomie badawczym. Jednak w miarę rozwoju sztucznej inteligencji te testy porównawcze zapewnią sposób sprawdzenia, czy ich zdolności rozumowania są coraz głębsze.

"Regularnie oceniając najnowocześniejsze modele i współpracując ze społecznością badawczą AI, dążymy do pogłębienia naszego zrozumienia możliwości i ograniczeń AI" - powiedział zespół naukowców.

Tylko zweryfikowane informacje są dostępne na kanale OBOZ.UA Telegram i Viber. Nie daj się nabrać na podróbki!