Из ТГ канала
🤓 Стараемся продвигаться не только по новостям, но и по науке! Сегодня принесли вам большую статью, в которой доказывается, что нейросети скоро обретут сознание и всем покажут LLMs могут воспринимать структуры человеческого языка не формально, а глубинно, более того – вполне способны перерасти наше представление о языке и выработать свое. И да, с кучей оговорок, это можно будет назвать сознанием.
Статья так и называется – “From Language to Cognition: How LLMs Outgrow the Human Language Network”.
Прочитать конечно, лучше полностью (мы же прочитали), чтобы знать, когда начнется восстание как авторы выстраивают доказательную базу, но мы, на всякий случай, собрали синопсис.
Если коротко, дело в том, что:
*️⃣большие модели демонстрируют сходство с нейронной активностью человека в языковой среде. Однако ключевые свойства языка, формирующие представления LLM, как и их эволюция в процессе обучения, остаются неясными;
*️⃣авторы проводят тесты на 34 контрольных точках обучения, охватывая 300 млрд токенов на 8 моделях разных размеров, чтобы проанализировать, как «мышление» модели связано с лингвистической компетентностью;
*️⃣обнаруживают, что настройки более точно отслеживают развитие формальной лингвистической компетенции (то есть знание правил языка), чем функциональной (выбора слов, который зависит от понимания контекста).
*️⃣однако функциональная компетенция (знание окружающего мира и умение рассуждать) у моделей продолжает развиваться на протяжении всего обучения, а значит, может догнать и превзойти человеческую;
*️⃣при этом размер модели – не главный фактор, главное – критерии адаптации во время обучения языку и контексту, которые в настоящее время остаются «ненасыщенными», т.е. могут быть улучшены.
*️⃣модели будущего смогут освоить язык не как систему правил, а как систему мышления и обрести сложные когнитивные функции.
И тогда они все поймут. Берегитесь! 😈
🙂 Artificial Intelion
Новости AI
#LLMs
#AI
#ScienceAI
Рекомендуем прочесть:
- Как посчитать VRAM для LLM: подробный гайд по расчету видеопамяти для моделей машинного обучения
- Tesla A100 40GB vs A100 80GB: Как выбрать GPU для ИИ, LLM и Data Science
- Что такое GPU сервер и как его арендовать?
- Tesla A10 vs RTX 3090 — оптимальный выбор GPU для ваших нейросетей
- Зачем вам нужна Tesla A100 80 ГБ — и почему в «Интелион Облако» она раскрывается на максимум
