Мы знаем, что искусственный интеллект (ИИ) не может мыслить так же, как человек, но новое исследование показало, как это различие может повлиять на процесс принятия решений ИИ, приводя к последствиям, к которым люди могут оказаться не готовы в реальном мире.

В исследовании, результаты которого были опубликованы в журнале Transactions on Machine Learning Research, изучалось, насколько хорошо большие языковые модели (Lms) могут проводить аналогии. Они обнаружили, что как в простых аналогиях с буквенными строками, так и в задачах с цифровыми матрицами, где задача состояла в том, чтобы заполнить матрицу, определив недостающую цифру, люди справлялись хорошо, но производительность ИИ резко снизилась.

При тестировании надежности моделей людей и искусственного интеллекта в задачах, основанных на сюжетных аналогиях, исследование показало, что модели подвержены влиянию порядка ответов - различиям в ответах из-за порядка процедур в эксперименте — и, возможно, также были более склонны к перефразированию.

В целом, исследование пришло к выводу, что моделям искусственного интеллекта не хватает способности к обучению «с нуля», когда учащийся наблюдает за образцами из классов, которые не присутствовали во время обучения, и делает прогнозы о том, к какому классу они принадлежат, в соответствии с вопросом.

Соавтор исследования Марта Льюис, доцент кафедры нейросимволического искусственного интеллекта в Амстердамском университете, привела пример того, как искусственный интеллект не может выполнять аналоговые рассуждения так же хорошо, как люди, в задачах с буквенными цепочками.

«Аналогии с буквенными цепочками имеют форму «если abcd переходит в abc, то к чему переходит ijkl?» Большинство людей ответят «ijkm», и искусственный интеллект склонен давать такой ответ", - сказал Льюис в интервью LiveScience. - Но может возникнуть и другая проблема: «если abcd переходит в abcd, то куда переходит ijkl?» Люди, как правило, отвечают «ijkl» – суть в том, чтобы удалить повторяющийся элемент. Но GPT-4, как правило, неправильно решает проблемы подобные этим», - отметила она.