Почему IQ — плохой тест для искусственного интеллекта
В ходе недавнего выступления перед прессой генеральный директор OpenAI Сэм Альтман заявил, что за последние несколько лет он наблюдал стремительное повышение «IQ» искусственного интеллекта.
«Очень приблизительно, как мне кажется — это не научная точность, это просто ощущение или духовный ответ — каждый год мы продвигаемся на одно стандартное отклонение IQ», — сказал Альтман.
Альтман не первый, кто использует IQ, оценку интеллекта человека, в качестве ориентира для прогресса ИИ. Влиятельные люди, занимающиеся вопросами ИИ в социальных сетях, проводили тесты на IQ для моделей и ранжировали результаты.
Но многие эксперты говорят, что IQ — это плохой показатель возможностей модели, к тому же вводящий в заблуждение.
«Может быть очень заманчиво использовать те же показатели, которые мы используем для людей, чтобы описать способности или прогресс, но это все равно что сравнивать яблоки с апельсинами», — сказала TechCrunch Сандра Вахтер, исследователь, изучающая технологию и регулирование в Оксфорде.
В своих комментариях на пресс-конференции Альтман приравнял IQ к интеллекту. Однако тесты IQ — это относительные, а не объективные показатели определенных видов интеллекта. По общему мнению, IQ является разумным тестом на логику и абстрактное мышление. Но он не измеряет практический интеллект — знание того, как заставить вещи работать, — и в лучшем случае является моментальным снимком.
«IQ — это инструмент для измерения человеческих способностей — не менее спорный — основанный на том, как, по мнению ученых, выглядит человеческий интеллект», — отмечает Вахтер. «Но вы не можете использовать тот же показатель для описания возможностей ИИ. Автомобиль быстрее человека, а подводная лодка лучше ныряет. Но это не значит, что автомобили или подводные лодки превосходят человеческий интеллект. Вы отождествляете один аспект производительности с человеческим интеллектом, который гораздо сложнее»
Чтобы успешно пройти тест на IQ, происхождение которого некоторые историки связывают с евгеникой — широко дискредитированной научной теорией, согласно которой людей можно улучшить путем избирательной селекции, — участник теста должен обладать хорошей рабочей памятью и знать нормы западной культуры. Это, конечно, дает возможность для предвзятости, поэтому один психолог назвал тесты IQ «идеологически коррумпированными механическими моделями» интеллекта.
По мнению Оса Киза, докторанта Вашингтонского университета, изучающего этику искусственного интеллекта, то, что модель может показать хорошие результаты в тесте на IQ, говорит скорее о недостатках теста, чем о результатах модели.
По мнению Оса Киза, докторанта Вашингтонского университета, изучающего этику искусственного интеллекта.
«[Эти] тесты довольно легко обыграть, если у вас практически бесконечный объем памяти и терпения», — говорит Киз. «Тесты на IQ — весьма ограниченный способ измерения познания, чувства и интеллекта, о чем мы знали еще до изобретения цифрового компьютера».
Вполне вероятно, что уAI есть несправедливое преимущество и в тестах на IQ, учитывая, что модели имеют в своем распоряжении огромный объем памяти и усвоенных знаний. Часто модели обучаются на общедоступных веб-данных, а в Интернете полно примеров вопросов, взятых из IQ-тестов.
«Тесты имеют тенденцию повторять очень похожие шаблоны — довольно надежный способ повысить свой IQ — это практиковаться в прохождении IQ-тестов, что, по сути, и делали все [модели]», — говорит Майк Кук, научный сотрудник Королевского колледжа Лондона, специализирующийся на ИИ. «Когда я чему-то учусь, я не получаю это в свой мозг с идеальной четкостью миллион раз, в отличие от ИИ, и я также не могу обработать это без шума или потери сигнала».
В конечном счете, тесты IQ — какими бы необъективными они ни были — были разработаны для людей, добавил Кук, — они предназначены для оценки общих способностей к решению проблем. Они не подходят для технологии, которая подходит к решению проблем совсем не так, как люди.
«Ворона может использовать инструмент, чтобы достать лакомство из коробки, но это не значит, что она может поступить в Гарвард», — говорит Кук. Когда я решаю математическую задачу, мой мозг также борется со своей способностью правильно читать слова на странице, не думать о покупках, которые мне нужно сделать по дороге домой, или о том, не слишком ли холодно сейчас в комнате». Другими словами, человеческий мозг решает гораздо больше задач, когда решает проблему — любую, хоть IQ-тест, хоть какую-то другую — и делает это с гораздо меньшей помощью [чем ИИ]»
Все это указывает на необходимость создания более совершенных тестов для ИИ, сказал в интервью TechCrunch Хейди Хлааф, главный научный сотрудник по ИИ в институте AI Now.
«За всю историю вычислений мы не сравнивали вычислительные способности с человеческими именно потому, что природа вычислений означает, что системы всегда были способны выполнять задачи, уже выходящие за рамки человеческих возможностей», — говорит Хлааф. «Идея о том, что мы напрямую сравниваем производительность систем с человеческими способностями, — это недавний феномен, который весьма спорный, и именно он окружает полемику о постоянно расширяющихся — и движущихся — эталонах, создаваемых для оценки систем ИИ».
