Момент, когда мы перестали понимать ИИ [AlexNet]

Спасибо KiwiCo за спонсорство сегодняшнего видео! Перейдите по ссылке
и используйте код WELCHLABS, чтобы получить скидку 50% на первый месяц ежемесячной подписки и/или скидку 20% на первый ящик Panda. Активация постеров Atlas!

Особая благодарность спонсорам: Хуану Бенету, Россу Хансону, Яну Бабицки, Эй Джей Энглхардту, Элвину Халеду, Эдуардо Баррасе, Хитоши Ямаути, Джейвону Чону, Mrgoodlight, Шиничи Хаяши, Сиду Сарасвати, Доминику Бомонту, Шеннон Пратер, Ubiquity Ventures, Матиас Форти Welch Labs Видео без рекламы и эксклюзивные бонусы:   / welchlabs   Смотреть в TikTok:   / welchlabs   Узнать больше или связаться:
Instagram:   / welchlabs   X:   / welchlabs   Ссылки Доклад AlexNet
Оригинальная статья об Атласе активации — ознакомьтесь здесь — отличный интерактивный Атлас!
Картер и др., «Атлас активации», Distill, 2019. Статья о визуализации функций:
`Ола и др., «Визуализация функций», Distill, 2017.` Отличная работа LLM по объяснимости:
Темплтон и др., «Масштабирование моносемантичности: извлечение интерпретируемых признаков из сонета Клода 3», Transformer Circuits Thread, 2024. Видео «Deep Visualization Toolbox» Джейсона Йосински вдохновило на создание множества визуальных образов:    • Deep Visualization Toolbox   Отлично Вводная статья LLM/GPT
Видео 3B1Bs GPT, как всегда, отличные:    • Attention in transformers, step-by-step | ...      • Transformers, the tech behind LLMs | Deep ...   Пошаговое руководство Андрея Керпати просто потрясающее:    • Let's build GPT: from scratch, in code, sp...   Книга Гудфеллоу по глубокому обучению
Кластер OpenAI V100 из 10 000 графических процессоров (1+ экзафлопс)
Размер GPT-3 и т. д.: Языковые модели — это системы обучения с небольшим количеством попыток, Браун и др. al, 2020. Уникальное количество токенов для ChatGPT:
Размер обучающей базы GPT-4 и т.д., предположительный:

Исторические видео о нейронных сетях    • Convolutional Network Demo from 1989      • Perceptron Research from the 50's & 60's, ...   Опечатка 1:40 должно быть: «фрагмент слова добавляется в конец исходного входного сигнала». Спасибо Крису А. за находку.