В технологической отрасли едва ли можно вести разговор, чтобы кто-нибудь не упомянул логический вывод, искусственный интеллект (ИИ) и машинное обучение (МО). Однако важно отметить, что хотя все эти термины взаимосвязаны, они также существенно различаются.
В этой статье мы объясним фундаментальные различия и подчеркнем важность использования технологии периферийного искусственного интеллекта на основе тензорной обработки-, особенно в периферийных и встроенных системах. По сравнению с решениями на основе графических процессоров (GPU) тензорные процессоры (TPU) обеспечивают более эффективную и экономичную-производительность. Мы также предоставим несколько примеров использования, иллюстрирующих, где вы можете столкнуться с передовыми решениями искусственного интеллекта в будущем.
Основы МО и вывода
ML относится к методологии обучения моделей с использованием репрезентативных данных, позволяющих машинам научиться выполнять задачи. Этот процесс может быть очень интенсивным в вычислительном отношении, генерируя триллионы операций на каждую новую точку обучающих данных. Итеративный характер процесса обучения в сочетании с огромными наборами обучающих данных, необходимыми для достижения высокой точности, порождает спрос на чрезвычайно высокопроизводительную-производительную-обработку данных с плавающей запятой. Обучение ML лучше всего реализовать в виде инфраструктуры центра обработки данных, где высокие капитальные и эксплуатационные затраты могут быть оправданы за счет их амортизации среди многочисленных клиентов.
Вывод предполагает использование обученных моделей для создания потенциальных совпадений новых данных, соответствующих репрезентативным данным, на которых была обучена модель. Целью вывода является предоставление быстрых ответов в течение миллисекунд. Примеры вывода включают распознавание речи, языковой перевод-в реальном времени, машинное зрение и решения по оптимизации вставки рекламы. Хотя для вывода требуется лишь часть вычислительной мощности, необходимой для обучения, она по-прежнему намного превышает возможности традиционных систем на базе центрального процессора (ЦП)-, особенно для приложений компьютерного зрения. Вот почему так много компаний обращаются к решениям для ускорения на основе тензора--будь то IP на SoC или -системные ускорители-, чтобы добиться времени отклика менее-секунды, необходимого на периферии. Реальность такова, что тратить даже минуту или несколько секунд на обработку изображений в системе машинного зрения не очень полезно. Промышленным системам машинного зрения требуется скорость обработки данных на уровне миллисекунд-.
Разделение обучения и вывода
Развертывание того же оборудования, которое используется для обучения обработке рабочих нагрузок вывода, может привести к избыточному-обеспечению машин вывода ускорителями и аппаратным обеспечением ЦП. Решения на основе графических процессоров, разработанные для машинного обучения за последнее десятилетие, не обязательно являются оптимальным выбором для крупномасштабного-развертывания технологий вывода машинного обучения. Диаграмма ниже прекрасно иллюстрирует сравнение ускорителей TPU и ускорителей GPU. Он ясно показывает, что ускорители TPU обеспечивают более низкое энергопотребление, снижение затрат и более высокую эффективность по сравнению с решениями AGX на базе графического процессора-, при этом обеспечивая привлекательный уровень производительности для приложений вывода.
Еще одним важным фактором при выборе решений для обучения и вывода ML является программная среда. Сегодня используется множество популярных библиотек, таких как CUDA для графических процессоров NVIDIA, платформы машинного обучения, такие как TensorFlow и PyTorch, оптимизированные библиотеки межплатформенных моделей, такие как Keras, и другие. Эти наборы инструментов необходимы для разработки и обучения моделей машинного обучения, но для приложений вывода требуется другой, меньший набор программных инструментов.
Наборы инструментов для вывода ориентированы на запуск моделей на целевых платформах. Они поддерживают перенос обученных моделей на платформы, что может включать в себя некоторые операторские преобразования, квантование и услуги интеграции хоста. Однако это представляет собой относительно простой набор функций по сравнению с теми, которые необходимы для разработки и обучения модели.
Инструменты вывода выигрывают от того, что начинаются со стандартизированного представления модели. Open Neural Network Exchange (ONNX) — это стандартный формат представления моделей машинного обучения. Как следует из названия, это открытый стандарт, управляемый как проект Linux Foundation. Такие технологии, как ONNX, позволяют разделить системы обучения и вывода, предоставляя разработчикам свободу выбора различных оптимизированных платформ для каждой из них.
Примеры визуальных приложений
Поскольку технологии машинного обучения и обработки вывода продолжают развиваться и развиваться, приложения распространяются. Ниже приведены лишь несколько мест, где вы можете столкнуться с этой технологией в будущем.
Пограничные серверы на таких предприятиях, как заводы, больницы, розничные магазины и финансовые учреждения. Например, в промышленных условиях ИИ может помочь в управлении запасами, обнаружении дефектов и даже в профилактическом обслуживании до возникновения проблем. В розничной торговле он обеспечивает такие функции, как оценка позы, использование компьютерного зрения для обнаружения и анализа позы человека. Данные этого анализа помогают обычным-и-ритейлерам лучше понимать поведение людей и посещаемость их магазинов, что позволяет им оптимизировать планировку магазинов для достижения максимальных продаж и удовлетворенности клиентов.
Высоко-точное/высокое-изображение для таких приложений, как робототехника, промышленная автоматизация/контроль, медицинская визуализация, научная визуализация, камеры наблюдения и распознавания объектов, а также фотоника. Например, методы машинного обучения продемонстрировали способность обнаруживать рак путем обработки цифровых рентгеновских лучей.- Этот процесс включает в себя разработку модели машинного обучения, предназначенной для обработки рентгеновских изображений, обычно с использованием обученных алгоритмов семантической сегментации для выявления раковых поражений. Во время обучения изображения рака, выявленные рентгенологами, используются для обучения сети тому, что не является раком, что такое рак и как возникают различные виды рака. Чем лучше обучена модель машинного обучения, тем лучше она будет ставить максимально правильные диагнозы и сводить к минимуму ошибочные диагнозы. Это означает, что машинное обучение опирается не только на интеллектуальную разработку моделей, но и на огромное количество (от десятков тысяч до миллионов) тщательно отобранных примеров данных, в которых рак был профессионально идентифицирован.
Умные тележки для покупок-Некоторые компании разрабатывают и внедряют интеллектуальные системы покупок, которые распознают товары не по штрих-кодам UPC, а по внешнему виду самой упаковки. Эта функция позволяет покупателям просто помещать товары в корзину или в систему оформления заказа без необходимости находить код UPC и сканировать его с помощью лазерного сканера UPC. Эта технология делает процесс покупок более точным, быстрым и удобным.
Принятие правильного решения
Компании должны оценить все доступные сегодня решения и выбрать оптимальное, исходя из конкретного варианта использования. Они также не могут просто предположить, что все решения искусственного интеллекта лучше всего реализовывать на устройствах с графическим процессором, поскольку решения на базе TPU-обеспечивают более высокую эффективность обработки и более низкое использование микросхем, тем самым снижая энергопотребление и затраты.