автор |
сообщение |
Jack Skellington
гранд-мастер
|
21 октября 2024 г. 01:42 [нажмите здесь чтобы увидеть текст поста]
|
цитата skourОччень интересно. И сколько там, по вашему, нейронов, и какие возможности компьютера нужны?
По мнению науки, от 86 до 96 миллиардов нейронов, содержит мозг человека. Количество связей между ними затруднительно рассчитать, но не менее 100 триллионов. Самые дорогие и продвинутые нейросети содержат... честно говоря чёрт его знает, но меньше. Счёт в них идет на миллионы. Т.е. у мозга, нейронов минимум на порядок больше. Если для создания сильного ИскИна, требуются сопоставимые с человеческим мозгом характеристики железа, то мы ещё очень далеки от светлого будущего с Големами, Скайнетами и Уинтермьютами.
|
––– Fais ce que dois, advienne, que pourra |
|
|
skour
гранд-мастер
|
21 октября 2024 г. 02:19 [нажмите здесь чтобы увидеть текст поста]
|
цитата Jack SkellingtonПо мнению науки, от 86 до 96 миллиардов нейронов, содержит мозг человека. Количество связей между ними затруднительно рассчитать, но не менее 100 триллионов. В терминах необходимой памяти, это будет всего лишь несколько сотен терабайт. С вычислительной мощностью намного сложнее, но именно поэтому я написал про Почтаря.
|
|
|
Vramin
философ
|
21 октября 2024 г. 08:16 [нажмите здесь чтобы увидеть текст поста]
|
цитата Jack SkellingtonКоличество связей между ними затруднительно рассчитать, но не менее 100 триллионов. Количество параметров (весов нейросети) у топовых языковых моделей типа GPT-4 сейчас — порядка триллиона. То есть пары порядков не хватает. Но, может, человеческий мозг избыточен?
|
|
|
skour
гранд-мастер
|
21 октября 2024 г. 08:24 [нажмите здесь чтобы увидеть текст поста]
|
цитата VraminКоличество параметров (весов нейросети) у топовых языковых моделей типа GPT-4 сейчас — порядка триллиона. То есть пары порядков не хватает. Точно не потому, что для этого не хватает памяти. А избыточность мозга — несомненно. Вопрос только насколько.
|
|
|
Jack Skellington
гранд-мастер
|
21 октября 2024 г. 08:25 [нажмите здесь чтобы увидеть текст поста]
|
цитата skourВ терминах необходимой памяти, это будет всего лишь несколько сотен терабайт. С вычислительной мощностью намного сложнее, но именно поэтому я написал про Почтаря.
86 миллиардов нейронов — это примерно 1 петабайт информации, т.е. 1024 терабайт. Оценки вычислительной мощности человеческого мозга колеблются от от 10^18 — 10^28 флопс. Самый продвинутый суперкомпьютер в мире, на данный момент, оперирует от 10^12 до 10^17 флопс. Т.е. разница составляет несколько порядков. При этом потребляет энергии он, как целая энергостанция — 22,8 МВт. Для сравнения, человеческий мозг генерирует примерно от 20 до 25 Вт, что является уровнем слабенькой бытовой лампочки. Так что, как поется в песне, "Путь так далёк...".
|
––– Fais ce que dois, advienne, que pourra |
|
|
Jack Skellington
гранд-мастер
|
21 октября 2024 г. 08:30 [нажмите здесь чтобы увидеть текст поста]
|
цитата VraminКоличество параметров (весов нейросети) у топовых языковых моделей типа GPT-4 сейчас — порядка триллиона. То есть пары порядков не хватает. Но, может, человеческий мозг избыточен? Возможно, но и оценка в 100 триллионов считается заниженной. По более смелым расчетам, количество связей в мозгу доходит до 1 триллиарда.
|
––– Fais ce que dois, advienne, que pourra |
|
|
Jack Skellington
гранд-мастер
|
21 октября 2024 г. 08:36 [нажмите здесь чтобы увидеть текст поста]
|
цитата skourА избыточность мозга — несомненно. Вопрос только насколько.
Боюсь не совсем — головной мозг использует, для повседневной работы все 100% возможностей своей коры.
|
––– Fais ce que dois, advienne, que pourra |
|
|
skour
гранд-мастер
|
21 октября 2024 г. 08:46 [нажмите здесь чтобы увидеть текст поста]
|
цитата Jack Skellington86 миллиардов нейронов — это примерно 1 петабайт информации, т.е. 1024 терабайт. Допустим. Это, на самом деле, тоже немного по меркам современного железа.
цитата Jack SkellingtonОценки вычислительной мощности человеческого мозга колеблются от от 10^18 — 10^28 флопс. Это означает аж 1e17 флопс на нейрон. Этому есть какие-то обоснования, или оценка сделана потолочным методом?
цитата Jack SkellingtonВозможно, но и оценка в 100 триллионов считается заниженной. По более смелым расчетам, количество связей в мозгу доходит до 1 триллиарда. У некоторых людей от смелости просто крышу сносит. На самом деле, во многих задачах человеческий мозг проигрывает даже обычному бытовому компьютеру, а объем памяти человека ничтожен.
|
|
|
skour
гранд-мастер
|
21 октября 2024 г. 08:48 [нажмите здесь чтобы увидеть текст поста]
|
цитата Jack SkellingtonБоюсь не совсем — головной мозг использует, для повседневной работы все 100% возможностей своей коры. 100% коры одновременно "используется" только у эпилептиков. Но не думаю, что такой режим работы полезен для мышления. И на самом деле, в коре человека 23 миллиарда нейронов, а не 86. Да и соматосенсорная кора, например, ИИ точно не нужна.
|
|
|
Jack Skellington
гранд-мастер
|
21 октября 2024 г. 09:05 [нажмите здесь чтобы увидеть текст поста]
|
цитата skourДопустим. Это, на самом деле, тоже немного по меркам современного железа.
Немного, но и далеко не несколько сотен терабайт.
цитата skourЭто означает аж 1e17 флопс на нейрон. Этому есть какие-то обоснования, или оценка сделана потолочным методом?
Оценка сделана путём научных исследований. Пример одного из них: https://www.fhi.ox.ac.uk/brain-emulation-....
цитата skourУ некоторых людей от смелости просто крышу сносит. На самом деле, во многих задачах человеческий мозг проигрывает даже обычному бытовому компьютеру, а объем памяти человека ничтожен.
Если бы это было так, ИИ уже был бы создан. Так что выражусь столь же радикально — даже самый продвинутый суперкомпьютер в мире, находится на уровне капибары, по своим интеллектуальным возможностям.
цитата skour100% коры одновременно "используется" только у эпилептиков. Но не думаю, что такой режим работы полезен для мышления. Используется все 100% коры — просто некоторые её части активнее чем другие.
цитата skourИ на самом деле, в коре человека 23 миллиарда нейронов, а не 86. Это просто не верно — 86 миллиардов, минимальная оценка количества нейронов в мозгу человека.
цитата skourДа и соматосенсорная кора, например, ИИ точно не нужна. Возможно, если только наше самосознание не строится в том числе и на сенсорной информации.
|
––– Fais ce que dois, advienne, que pourra |
|
|
Vramin
философ
|
21 октября 2024 г. 09:07 [нажмите здесь чтобы увидеть текст поста]
|
цитата Jack SkellingtonВозможно, но и оценка в 100 триллионов считается заниженной. По более смелым расчетам, количество связей в мозгу доходит до 1 триллиарда. Сто триллионов, если я правильно помню — это конкретно в коре.
|
|
|
skour
гранд-мастер
|
|
Jack Skellington
гранд-мастер
|
21 октября 2024 г. 09:14 [нажмите здесь чтобы увидеть текст поста]
|
цитата VraminСто триллионов, если я правильно помню — это конкретно в коре.
Да, которая в свою очередь составляет более 80 % массы мозга.
|
––– Fais ce que dois, advienne, que pourra |
|
|
Jack Skellington
гранд-мастер
|
21 октября 2024 г. 09:20 [нажмите здесь чтобы увидеть текст поста]
|
цитата skour
цитата skourИ на самом деле, в коре человека 23 миллиарда нейронов, а не 86. Про кору вы ни слова не сказали. И в коре больших полушарий содержится не 23, а примерно 16 миллиардов нейронов: https://www.frontiersin.org/journals/huma...
цитата skourДальше продолжать будем?
Если хотите, но объективных предпосылок для создания сильного ИИ, как не было так и нет. Иначе бы мир был уже несколько другим.
|
––– Fais ce que dois, advienne, que pourra |
|
|
Jack Skellington
гранд-мастер
|
|
skour
гранд-мастер
|
|
Vramin
философ
|
21 октября 2024 г. 09:24 [нажмите здесь чтобы увидеть текст поста]
|
цитата Jack Skellingtonвыражусь столь же радикально — даже самый продвинутый суперкомпьютер в мире, находится на уровне капибары, по своим интеллектуальным возможностям. Это ещё от софта зависит ) Можно ли говорить об интеллектуальных способностях программного обеспечения? Сомневаюсь, оно просто выполняет заданный исходно алгоритм — запрограммированный людьми. Другое дело нейросети. Они обучаемы и действительно могут проявлять что-то, что можно назвать интеллектуальными способностями. Проблема в архитектуре современных компьютеров и суперкомпьютеров в том числе — она плохо стыкуется с архитектурой нейросетей, прежде всего из-за внешней памяти. Самый мощный нейроморфный компьютер, в котором нейросетевая архитектура реализована в железе, имеет интеллект на уровне совы или кошки, по крайней мере, если сравнивать число нейронов: https://22century.ru/popular-science-publ...
цитата В нейроморфном режиме Hala Point эмулирует 1.15 млрд нейронов. Получается, что это сопоставимо, скорее, с мозгом очень умной кошки, а до человеческого по сложности не дотягивает в 75 раз. цитата В режиме традиционных нейросетей Hala Point делает до 20 квадриллионов операций в секунду (20 петаопс), с эффективностью, превышающей 15 триллионов 8-битных операций в секунду на ватт (тераопс/Вт).
|
|
|
Jack Skellington
гранд-мастер
|
21 октября 2024 г. 09:26 [нажмите здесь чтобы увидеть текст поста]
|
цитата skourСказал, в чем очень легко убедиться, посмотрев текст вверху.
Моя ошибка — действительно сказали, но число нейронов, на самом, деле даже меньше. И опять же с чего вы решили, что для поддержания разума нужна лишь кора головного мозга, а не весь объём нейронов мозга в совокупности?
|
––– Fais ce que dois, advienne, que pourra |
|
|
Jack Skellington
гранд-мастер
|
|
skour
гранд-мастер
|
21 октября 2024 г. 09:39 [нажмите здесь чтобы увидеть текст поста]
|
цитата Jack SkellingtonМоя ошибка — действительно сказали, но число, на самом, деле даже меньше. Оценки разные, и я написал максимальную в порядке жеста доброй воли. Похоже, что зря.
цитата Jack SkellingtonИ опять же с чего вы решили, что для поддержания разума нужна лишь кора головного мозга, а не весь объём нейронов мозга в совокупности? А кто решил, что ИИ никак не обойтись без сенсорной и моторной коры?
Что касается оценок вычислительной мощности, то их там много, и минимальная 2e12, а вовсе не e18. Что касается товарища Tuszynski и его оценки в e28, то похоже, что он просто наркоман. Никакой речи о наносекундах быть не может, у нейрона макимальная скорость срабатывания измеряется в миллисекундах, а средняя и вовсе несколько раз в секунду. Будем продолжать?
|
|
|