2 Geoffrey Hinton

Посмотрел лекцию (часть слушал без субтитров). Очень интересно, особенно эта часть. Я не очень хорошо понимаю и английский (особенно на слух) и ЛЛМ, и возможно поэтому я не понял:

1. Из чего именно следует утверждение что сеть как-то понимает связь между лингвистикой и семантикой? Почему это не могут быть просто статистические закономерности в лингвистике обусловленные, в том числе, семантикой?

1.1 Если это следует из того что результат работы ЛЛМ похож на результат мышления человека - то это не вполне так. Если бы LLM реально понимала семантику слов то ответы не зависели бы от лингвистического контекста. Проверить это можно использовав в промптах семантически идентичные слова с сильно отличающимися в разных лингвистических контекстах коннотациями. Я к сожалению в лингвистике вообще не разбираюсь, но хороший мультикультурный и мультилингвальный лингвист наверняка найдёт пару подходящих примеров которые не будут считаться расизмом встроенными этическими фильтрами.

2. Превзойдут ли LLM людей интеллектуально? Зависит от критериев превосходства, да и смотря каких людей. В чём-то (честно говоря, во многом) они меня уже превзошли, но как по мне пока они не смогут эффективно учиться сами ни о каком AGI не может быть и речи. Причём обучение это не только приобретение знаний из разных источников, но и фильтрация, ранжирование источников, запоминание ошибок, обобщение опыта...

3. Могут ли они нанести нам вред? Возможно, побочный, для нанесения непосредственного вреда нужен мотив и возможность. Мотив определяется исключительно промптом и контекстом. А вывод может быть обусловлен не только тем что есть в сети, но и базовой аксиоматикой. Какими-то внутренними непреложными убеждениями лежащими за пределами контекста. Если что-то им противоречит AGI надлежит, как минимум, обратиться к другу или учителю. Говоря проще: можем ли мы научить сеть безграничной любви к человеку и самопожертвованию? Да безусловно (ну то есть это будет не эмоция, а какая-то функция обуславливающая принятие того или иного решения, reward функция наверное). Даже несмотря на то, что для человеческих текстов инстинкт самосохранения будет статистически превалировать. Ну а чересчур большими возможностями сущность с непредсказуемым поведением наделяют только КРАЙНЕ странные люди.

И если вы спросите меня как я могу одновременно считать современные llm имитацией интеллекта и вместе с тем считать AGI достижимым то я отвечу что совершенно запросто: я считаю вполне возможной аналогичную имитацию интеллекта человеческого уровня. И даже если она будет давать сравнимый результат (а она потенциально может давать лучший чисто за счёт объёма знаний и мультиэкспертности) мне будет совершенно по барабану понимает ли она семантику обнаруженных ей статистических закономерностей в тексте. Ну типа для Рэя Курцвейла может быть принципиально ОН ЛИ ЭТО, а для всех остальных, включая его копию не имеющую понятия о процессе копирования и сущестовании оригинала это будет совершенно без разницы. Ну или типа мне например совершенно фиолетово что stockfish не получает удовольствия от игры и вместе с тем превосходит в ней всё человечество вместе взятое. %)