29 июня, Inflection AI в Пало-Альто. объявление достижение сбора в размере 1,3 миллиарда долларов во главе с Microsoft, Ридом Хоффманом, Биллом Гейтсом, Эриком Шмидтом и Nvidia. Новый капитал будет частично направлен на создание кластера графических процессоров Nvidia H100 Tensor на 22 000 единиц, который, по словам компании, является крупнейшим в мире. Графические процессоры будут использоваться для разработки крупномасштабных моделей искусственного интеллекта. Разработчики писали:
«Мы считаем, что если мы войдем в наш кластер за последние несколько ТОП500 список суперкомпьютеров, это будет вторая и близкая к первой запись, хотя она оптимизирована для ИИ, а не для научных приложений».
Inflection AI также разрабатывает собственную систему искусственного интеллекта для личного уорент-офицера, получившую название «Pi». общий объем финансирования достиг 1,525 млрд долларов с момента его создания в начале 2022 года.
Несмотря на растущие инвестиции в крупные модели ИИ, эксперты предупреждают, что фактическая эффективность их обучения может сильно ограничиться текущими технологическими ограничениями. В примере поднятый сингапурским венчурным фондом Foresight, пишут исследователи, приводя в пример большую модель искусственного интеллекта со 175 миллиардами параметров, хранящую 700 ГБ данных:
«Предполагая, что у нас есть 100 вычислительных узлов, и каждый узел должен обновлять все параметры на каждом этапе, каждый шаг потребует передачи примерно 70 ТБ данных (700 ГБ * 100). Если оптимистично предположить, что каждый шаг занимает 1 секунду, то в секунду должно передаваться 70 ТБ данных. Эта потребность в пропускной способности намного превышает пропускную способность большинства сетей».
Продолжая приведенный выше пример, Foresight также предупредил, что «из-за задержки связи и перегрузки сети время передачи данных может значительно превышать 1 с», что означает, что вычислительные узлы могут тратить большую часть своего времени на ожидание передачи данных вместо выполнения реальных вычислений. пришел к выводу, что с учетом текущих ограничений решение заключается в небольших моделях ИИ, которые «легче развертывать и управлять».
«Во многих сценариях приложений пользователям или компаниям не нужны более универсальные возможности рассуждений больших языковых моделей, а просто сосредоточиться на очень точной цели прогнозирования».