Пропустить

Нейросетевой ускоритель

Нейросетевой ускоритель, или ИИ-ускоритель, — это процессор для ускорения работы искусственного интеллекта. Если обычный процессор похож на семейный внедорожник, который проедет и по городу, и по бездорожью, то ИИ-ускоритель — это болид «Формулы-1». В нём нет багажника, задних сидений и кондиционера, зато на трассе ему нет равных.

Суть технологии

Работа нейросети — это миллионы однотипных умножений и сложений. Универсальный процессор выполняет их по очереди. Для каждой операции он достаёт число из памяти, считает и отправляет результат обратно. Сами вычисления проходят быстро, а на перемещение данных уходит гораздо больше времени и энергии. В итоге процессор чаще ждёт данных, чем работает.

ИИ-ускоритель устроен иначе. Его основа — сетка из тысяч маленьких вычислительных ячеек. Данные не возвращаются в память после каждого шага, а передаются от одной ячейки к соседней, как деталь на заводском конвейере.

Каждая ячейка выполняет свою часть работы и отдаёт результат дальше. Такую схему называют систолическим массивом: данные движутся по нему ритмично, как кровь по сосудам при сокращениях сердца.

Все ячейки работают одновременно, поэтому вычисления идут параллельно и почти без простоев. Нейросети не нужно считать до десятого знака после запятой, чтобы узнать лицо на видео или понять голосовую команду. Ускоритель работает с упрощёнными, «округлёнными» числами.

Вычислительные блоки для них меньше по размеру, поэтому на одном кристалле (кремниевой пластинке, на которой размещена схема чипа) их помещается больше. Кроме того, они потребляют меньше энергии, а на результат работы сети это почти не влияет.

Что такое нейросетевой ускоритель и где применяется
Фото: Пресс-служба Департамента инвестиционной и промышленной политики города Москвы, обработано с помощью нейросети GPT image 2

Откуда взялось

Google начала применять ИИ-процессоры внутри компании в 2015 году. Публике их показали в мае 2016 года на конференции Google I/O — к тому моменту процессор больше года работал в её дата-центрах.

Где применяется

В городском видеонаблюдении ускоритель разбирает поток прямо в камере, чтобы не гнать видео в центр обработки. В робототехнике и беспилотниках от него зависит, успеет ли машина среагировать: решение нужно за миллисекунды и без связи с сервером. В медицинской диагностике он обсчитывает снимки на месте, не выпуская данные пациента из клиники.

Что такое нейросетевой ускоритель и где применяется
Изображение сгенерировано с помощью нейросети GPT image 2

Московский след

Компания «ХайТэк», резидент ОЭЗ «Технополис Москва», выпустила компактный нейросетевой ускоритель LinQ HX. Он построен на российском микропроцессоре собственной разработки, обходится без иностранных лицензий и рассчитан на робототехнику и системы умного города.

Основные характеристики устройства от «ХайТэк»:

  • 30 триллионов операций в секунду при потреблении мощности не более 40 ватт;
  • задержка ответа от 1,5 до 2,3 миллисекунды и одновременная работа до пяти нейросетей.

Ускоритель будет внесен в реестр Минпромторга России. Он подключается к датчикам, камерам и системам управления. Среди перспективных областей применения компания называет видеонаблюдение, автономных роботов и медицинские системы диагностики.


Статью верифицировали сотрудники московской компании «ХайТэк».

Вернуться