Система обучения на основе мемристорных перекладин для масштабируемого и энергоэффективного ИИ
A memristor crossbar-based learning system for scalable and energy-efficient AI
Чип, состоящий из мемристорных поперечин, обучался с использованием локального алгоритма обучения на кристалле. Команда продемонстрировала, что их подход может точно реконструировать шрифт Брайля девяти известных ученых-компьютерщиков из сильно искаженных входных данных. Кредит: Йи и др.

Модели глубокого обучения оказались очень ценными инструментами для прогнозирования и решения реальных задач, связанных с анализом данных. Несмотря на свои преимущества, прежде чем они будут развернуты в реальном программном обеспечении и устройствах, таких как сотовые телефоны, эти модели требуют обширного обучения в физических центрах обработки данных, что может потребовать как времени, так и энергии.

Исследователи из Техасского университета A&M, Rain Neuromorphics и Sandia National Laboratories недавно разработали новую систему для более эффективного и масштабного обучения моделей глубокого обучения. Эта система, представленная в статье, опубликованной в журнале Nature Electronics , основана на использовании новых алгоритмов обучения и аппаратного обеспечения мемристорных перекладин, которые могут выполнять несколько операций одновременно.

«Большинство людей связывают ИИ с мониторингом здоровья в смарт-часах, распознаванием лиц в смартфонах и т. д., но большая часть ИИ с точки зрения затрачиваемой энергии влечет за собой обучение моделей ИИ для выполнения этих задач», — Сухас Кумар, старший автор. исследования, рассказал TechXplore.

«Обучение происходит в центрах обработки данных размером со склад, что очень дорого как с экономической точки зрения, так и с точки зрения углеродного следа. Только полностью обученные модели затем загружаются на наши устройства с низким энергопотреблением».

По сути, Кумар и его коллеги намеревались разработать подход, который мог бы уменьшить углеродный след и финансовые затраты, связанные с обучением моделей ИИ, что сделало бы их крупномасштабное внедрение более простым и устойчивым. Для этого им пришлось преодолеть два ключевых ограничения существующих методов обучения ИИ.

Первая из этих проблем связана с использованием неэффективных аппаратных систем на основе графических процессоров (GPU), которые по своей сути не предназначены для запуска и обучения моделей глубокого обучения. Второй влечет за собой использование неэффективных и сложных математических программных инструментов, в частности, использующих так называемый алгоритм обратного распространения ошибки.

«Наша цель состояла в том, чтобы использовать новое оборудование и новые алгоритмы, — пояснил Кумар. «Мы использовали нашу предыдущую 15-летнюю работу над аппаратным обеспечением на основе мемристоров (альтернатива с высокой степенью параллельности графическим процессорам) и недавние достижения в мозгоподобных эффективных алгоритмах (метод локального обучения без обратного распространения). Хотя достижения в аппаратном и программном обеспечении существовали ранее , мы настроили их так, чтобы они работали друг с другом, что позволило очень эффективно обучать ИИ».

Обучение глубоких нейронных сетей влечет за собой постоянную адаптацию их конфигурации, состоящей из так называемых «весов», чтобы гарантировать, что они смогут идентифицировать закономерности в данных с возрастающей точностью. Этот процесс адаптации требует многочисленных умножений, которые обычные цифровые процессоры не могут эффективно выполнять, поскольку им необходимо будет извлекать информацию, связанную с весом, из отдельного блока памяти.

«Сегодня почти все обучение выполняется с использованием алгоритма обратного распространения, в котором используется значительное перемещение данных и решение математических уравнений, и поэтому он подходит для цифровых процессоров», — сказал TechXplore Суин Йи, ведущий автор исследования.

«В качестве аппаратного решения аналоговые мемристорные поперечины, появившиеся в последнее десятилетие, позволяют встраивать синаптический вес в то же место, где происходят вычисления, тем самым сводя к минимуму перемещение данных. Однако традиционные алгоритмы обратного распространения, которые подходят для высокоточных цифровых аппаратные средства, несовместимы с мемристорными поперечинами из-за их аппаратного шума, ошибок и ограниченной точности».

Поскольку обычные алгоритмы обратного распространения плохо подходили для системы, которую они представляли, Кумар, Йи и их коллеги разработали новый совместно оптимизированный алгоритм обучения, использующий аппаратный параллелизм мемристорных поперечин. Этот алгоритм, вдохновленный различиями в активности нейронов, наблюдаемыми в исследованиях неврологии, устойчив к ошибкам и воспроизводит способность мозга учиться даже на разреженной, плохо определенной и «зашумленной» информации.

«Наша аппаратно-алгоритмическая система изучает различия в том, как синтетические нейроны в нейронной сети ведут себя по-разному в двух разных условиях: в одном случае разрешено производить любой вывод произвольным образом, а в другом — когда мы заставляем выход быть целевым. образец, который мы хотим идентифицировать», — объяснил Йи.

«Изучая разницу между ответами системы, мы можем предсказать веса, необходимые для того, чтобы система пришла к правильному ответу, без необходимости его форсировать. Другими словами, мы избегаем обратного распространения сложных математических уравнений, делая процесс более устойчивым к шуму, и возможность локального обучения, благодаря которому мозг изучает новые задачи».

Алгоритм, вдохновленный мозгом и совместимый с аналоговым оборудованием, разработанный в рамках этого исследования, может, таким образом, в конечном итоге обеспечить энергоэффективную реализацию ИИ в периферийных устройствах с небольшими батареями, что устраняет необходимость в больших облачных серверах, которые потребляют огромное количество электроэнергии. В конечном итоге это может помочь сделать крупномасштабное обучение алгоритмов глубокого обучения более доступным и устойчивым.

«Алгоритм, который мы используем для обучения нашей нейронной сети, сочетает в себе некоторые из лучших аспектов глубокого обучения и нейронауки для создания системы, которая может обучаться очень эффективно и с использованием низкоточных устройств», — сказал TechXplore Джек Кендалл, другой автор статьи.

«Это имеет много последствий. Во-первых, с помощью нашего подхода модели ИИ, которые в настоящее время слишком велики для развертывания, могут быть приспособлены к мобильным телефонам, умным часам и другим непривязанным устройствам. Во-вторых, эти сети теперь могут учиться на… на лету во время их развертывания, например, для учета меняющихся сред или для хранения пользовательских данных локально (избегая отправки их в облако для обучения)».

В первоначальных оценках Кумар, Йи, Кендалл и их коллега Стэнли Уильямс показали, что их подход может снизить энергопотребление, связанное с обучением ИИ, до 100 000 раз по сравнению даже с лучшими графическими процессорами на рынке сегодня. В будущем это может позволить перенести массивные центры обработки данных на персональные устройства пользователей, уменьшить углеродный след, связанный с обучением ИИ, и способствовать развитию искусственных нейронных сетей, которые поддерживают или упрощают повседневную деятельность человека.

«В дальнейшем мы планируем изучить, как эти системы масштабируются для гораздо более крупных сетей и более сложных задач», — добавил Кендалл. «Мы также планируем изучить различные основанные на мозге алгоритмы обучения для обучения глубоких нейронных сетей и выяснить, какие из них лучше работают в разных сетях и с различными ограничениями аппаратных ресурсов. Мы считаем, что это не только поможет нам понять, как лучше всего выполнять обучение в условиях ограниченных ресурсов, но это также может помочь нам понять, как биологический мозг способен учиться с такой невероятной эффективностью».

Образец цитирования : Система обучения на основе мемристорных перекладин для масштабируемого и энергоэффективного ИИ (2022 г., 14 декабря), получено 15 декабря 2022 г. с https://techxplore.com/news/2022-12-memristor-crossbar-based-scalable-energy. -эффективный-ai.html
Этот документ защищен авторским правом. За исключением любой честной сделки с целью частного изучения или исследования, никакая часть не может быть воспроизведена без письменного разрешения. Контент предоставляется только в ознакомительных целях.
Электроника и полупроводникиМашинное обучение и искусственный интеллект
Дата публикации: 2022.12.15