Большая модель AL к мультимодальности

Jan 04, 2025 Оставить сообщение

Вы слышали о парадоксе Моравека? Парадокс утверждает, что передовые рассуждения требуют очень небольшой вычислительной мощности для системы искусственного интеллекта (ИИ), в то же время внедряя навыки восприятия, которые люди принимают как должное, требуют огромных вычислительных ресурсов. По сути, сложные логические задачи проще для ИИ проще, чем основные сенсорные задачи, которые могут выполнить человеческие инстинкты. Этот парадокс подчеркивает разницу между ИИ и человеческими когнитивными способностями на этом этапе.


Люди по своей природе мультимодаль. Каждый из нас похож на интеллектуальный терминал, который обычно должен ходить в школу, чтобы быть образованными (обученными), но цель и результат этого обучения и обучения заключается в том, что у нас есть возможность работать и жить автономно, не полагаясь на внешние инструкции и контроль.


Мы узнаем об окружающем нас мире через несколько сенсорных методов, таких как зрение, речь, звук, прикосновение, вкус и запах, чтобы анализировать, разумно, решать и принять меры.


После многих лет слияния датчиков и эволюции ИИ роботы в значительной степени оснащены мультимодальными датчиками на этом этапе. As we bring more computing power to edge devices such as robots, these devices are becoming smarter and smarter, capable of sensing their surroundings, understanding and communicating in natural language, acquiring haptics through digital sensing interfaces, as well as sensing the robot's specific force, угловая скорость и даже магнитное поле вокруг робота посредством комбинации акселерометров, гироскопов и магнитометров и многого другого.


К новой эре робототехники и машинного познания


Перед трансформатором и большими языковыми моделями (LLMS) внедрение мультимодальности в ИИ обычно требует использования нескольких отдельных моделей, ответственных за различные типы данных (текст, изображения, аудио) и интеграцию различных модальностей с помощью сложного процесса.


С появлением моделей трансформаторов и LLMS мультимодальность стала более интегрированной, что позволяет одной модели одновременно обрабатывать и понимать несколько типов данных, что приводит к системам искусственного интеллекта, которые более способны всесторонне ощущать их окружающую среду. Этот сдвиг значительно улучшил эффективность и эффективность мультимодальных применений ИИ.


В то время как LLM, такие как GPT -3, в основном основаны на текстах, отрасль добилась быстрого прогресса в направлении мультимодальности. Из клипа Openai и Dall-E, а теперь и Sora и GPT -4 o, являются примерами моделей, которые двинулись к мультимодальности и более естественному взаимодействию человека с компьютером. Например, Клип понимает изображения в сочетании с естественным языком, тем самым преодолевая разрыв между визуальной и текстовой информацией; Dall-E стремится генерировать изображения на основе текстовых описаний. Мы видим, как модель Google Gemini подвергается аналогичной эволюции.


В 2024 году мультимодальная эволюция ускоряется. В феврале Openai выпустил Sora, которая генерирует реалистичные или образные видео на основе описаний текста. Когда вы думаете об этом, это может обеспечить многообещающий путь к созданию универсальных мировых симуляторов или стать важным инструментом для обучающих роботов. Через три месяца GPT -4 o значительно улучшил производительность взаимодействия человека-робот и способен рассуждать в режиме реального времени между аудио, зрением и текстом. Комбинирование текстовой, визуальной и аудио информации для обучения новой модели, сквозной, устраняет два модальных перехода от модальности ввода до текста, а затем от текста к модальности вывода, что, в свою очередь, значительно повышает производительность.


На той же неделе в феврале Google выпустил Gemini 1.5, что значительно расширило длину контекста до 1 миллиона токенов. Это означает, что 1.5 Pro может обрабатывать большие объемы информации одновременно, включая час видео, 11 часов аудио и кодовую базу, которая содержит более 30, 000 строки кода или 700, 000 words.gemini 1.5 основан на ведущих исследованиях Google о трансформаторах и экспертной архитектуре смешанного члена (MOE), а также на моделях 2B и 7B с открытым исходным кодом, которые можно развернуть на стороне края. На конференции Google ввода/вывода в мае, в дополнение к удвоению продолжительности контекста и выпуску ряда генеративных инструментов и приложений ИИ, Google исследовал свое видение будущего Project Astra, общего ассистента искусственного интеллекта, который обрабатывает мультимодальную информацию , понимает контекст, в котором расположен пользователь, и очень естественно взаимодействует с людьми в разговорах.


Будучи компанией, стоящей за LLM LLM с открытым исходным кодом, Meta также присоединяется к треку общего искусственного интеллекта (AGI).


Эта настоящая мультимодальность значительно повышает уровень машинного интеллекта и приведет к новым парадигмам для многих отраслей.


Например, роботы были очень однородными, с некоторыми датчиками и возможностями локомоции, но, как правило, у них не было «мозга», чтобы изучать новые вещи и адаптироваться к неструктурированной и незнакомым средам.


Ожидается, что мультимодальные LLM преобразуют способность роботов анализировать, разумно и учиться, перемещая их от специализации к обобщению. ПК, серверы и смартфоны являются лидерами на вычислительных платформах общего назначения и могут запускать множество различных видов программных приложений для достижения широкого спектра функций. Обобщение поможет масштабировать, генерируя экономию масштаба, и цены могут быть значительно снижены по мере их масштаба, что приводит к добродетельному циклу усыновления в большем количестве областей.


Элон Маск заметил преимущества генерализованной технологии на раннем этапе, так как роботы Теслы развивались из Шмеля в 2022 году в Оптимус генерал 1, объявленных в марте 2023 года, а Gen 2, объявленном в конце 2023 года, с постоянно растущей универсальностью и возможностями обучения. За прошедшие месяцы 6-12 мы стали свидетелями прорывов в области робототехники и гуманоидной робототехники.


Новые технологии робототехники следующего поколения и воплощенного интеллекта


Нет сомнений в том, что у нас еще много работы, прежде чем воплощенный интеллект достигнет массового производства. Нам нужны более легкие конструкции, более длительные и более быстрые, более мощные вычислительные платформы для обработки и предотвращения данных датчика для принятия своевременных решений и управляющих действий.


И мы движемся к созданию гуманоидных роботов; Тысячи лет человеческой цивилизации создали повсеместную среду, предназначенную для людей, а гуманоидные роботизированные системы смогут комфортно взаимодействовать с людьми и окружающей средой и выполнять необходимые операции в существующей человеческой среде из-за их сходства по форме с людьми. Эти системы будут хорошо подходят для выполнения грязных, опасных и скучных задач, таких как уход за пациентами и реабилитация, обслуживание в индустрии гостеприимства, преподавание СПИД или обучающих компаньонов в образовательной сфере, а также опасные задачи, такие как реагирование на бедствия и опасные материалы Полем Такие приложения используют человеческие атрибуты гуманоидной машины для облегчения естественных взаимодействий человека-роботов, действующих в пространствах, ориентированных на человека, и выполнения задач, которые часто трудно выполнять традиционным роботам.


Многие компании по искусству и робототехнике запускают новые исследования и сотрудничество о том, как обучать роботов по лучшей причине и планировать новые неструктурированные среды. Поскольку новый «мозг» роботов, модели, которые предварительно обучены на больших объемах данных, имеют превосходные возможности обобщения, позволяя роботам более подробно видеть и понимать свои среды, скорректировать свои движения и действия на основе сенсорной обратной связи и оптимизировать их производительность В различных динамических средах.


В качестве интересного примера, робот Boston Dynamics, Spot, может выступить в качестве гида в музее, взаимодействуя с посетителями, представлять их с различными экспонатами и отвечать на их вопросы. Это может быть трудно поверить, но в этом случае использование интересные, интерактивные и тонкие выступления Spot более важны, чем убедиться, что факты правильны.


Трансформер робототехники: новый мозг робототехники


Трансформатор робототехники (RT) быстро развивается, чтобы перевести мультимодальные входы непосредственно в действующий код. Google DeepMind's RT -2 работает так же, как и его предшественник, RT -1, с почти 100% успешной частотой при выполнении задач, которые были замечены ранее. Однако при обучении PALM-E (модель с воплощенной мультимодальным языком воплощенной робота) и Pali-X (крупномасштабное многоязычное зрение и языковая модель, не специально разработанная для роботов), RT -2 имеет лучшие возможности обобщения и превзойти rt -1 на невидимые задачи.


Microsoft представила Llava, крупномасштабного ассистента языка и видения. Первоначально разработанный для текстовых задач, Llava использует силу GPT -4 для создания новой парадигмы для мультимодальных инструкций для выполнения данных, беспрепятственно интеграции текстовых и визуальных компонентов, которые могут быть полезны для роботизированных задач. После своего введения Llava установила новые записи для мультимодального чата и научных задач, которые уже превышают средние возможности человека.


Как упоминалось ранее, набег на робототехнику Tesla на гуманоидную и искусственную технологическую деятельность значительна не только потому, что она предназначена для масштаба и массового производства, но и потому, что технологический фонд Tesla Autopilot для автомобилей может быть использован для автомобилей Tesla. роботы. Tesla также имеет интеллектуальное использование производства для применения Optimus для своего нового производства энергетических транспортных средств.


ARM - краеугольный камень будущего робототехники


ARM считает, что роботизированный мозг, как «большой мозг», так и «маленький мозг», должен быть гетерогенной системой ИИ, которая обеспечивает превосходную производительность, реакцию в реальном времени и энергоэффективность.

 

news-800-1

 

Робототехника включает в себя широкий спектр задач, включая базовые вычисления (например, отправка и получение сигналов на двигатели и обратно), расширенную обработку данных (например, интерпретация данных изображения и датчиков) и запуск мультимодальных LLM, упомянутых ранее. ЦП хорошо подходит для задач общего назначения, в то время как педали газа ИИ и графические процессоры могут более эффективно выполнять задачи параллельной обработки, такие как машинное обучение (ML) и графическая обработка. Дополнительные педали газа, такие как процессоры сигнала изображения и видеокодеки, также могут быть интегрированы для повышения возможностей видения робота и эффективности хранения/передачи. Кроме того, процессор должен иметь отзывчивость в режиме реального времени и должен иметь возможность запускать операционные системы, такие как пакеты Linux и ROS.


При распространении на роботизированный программный стек, уровень операционной системы также может потребовать операционной системы в реальном времени (RTO), которая может надежно обрабатывать критические задачи по времени, а также распределение Linux, настраиваемое на робототехнику, такую ​​как ROS, которые могут предоставить Услуги, разработанные для гетерогенных вычислительных кластеров. Мы считаем, что спонсируемые ARM стандарты и программы сертификации, такие как SystemReady и PSA, помогут масштабировать разработку роботизированного программного обеспечения. SystemReady разработан для обеспечения того, чтобы стандартные богатые распределения ОС работали в широком диапазоне системных на шипов (SOCS) на основе архитектуры ARM, в то время как сертифицированный PSA помогает упростить решения внедрения безопасности для удовлетворения региональных требований безопасности и нормативных требований для подключенных устройств.


Достижения в крупномасштабных мультимодальных моделях и генеративной ИИ Встречают новую эру в развитии роботов ИИ и гуманоидных роботов. Наряду с ИИ вычислениями и экосистемами, энергоэффективность, безопасность и функциональная безопасность необходимы для создания робототехники в этой новой эре. Процессоры ARM уже широко используются в робототехнике, и мы с нетерпением ждем тесного сотрудничества с экосистемой, чтобы сделать руку краеугольным камнем будущего робототехники ИИ.

Отправить запрос

whatsapp

Телефон

Отправить по электронной почте

Запрос