Нейросетевой ускоритель, или ИИ-ускоритель, — это процессор для ускорения работы искусственного интеллекта. Если обычный процессор похож на семейный внедорожник, который проедет и по городу, и по бездорожью, то ИИ-ускоритель — это болид «Формулы-1». В нём нет багажника, задних сидений и кондиционера, зато на трассе ему нет равных.
Суть технологии
Работа нейросети — это миллионы однотипных умножений и сложений. Универсальный процессор выполняет их по очереди. Для каждой операции он достаёт число из памяти, считает и отправляет результат обратно. Сами вычисления проходят быстро, а на перемещение данных уходит гораздо больше времени и энергии. В итоге процессор чаще ждёт данных, чем работает.
ИИ-ускоритель устроен иначе. Его основа — сетка из тысяч маленьких вычислительных ячеек. Данные не возвращаются в память после каждого шага, а передаются от одной ячейки к соседней, как деталь на заводском конвейере.
Каждая ячейка выполняет свою часть работы и отдаёт результат дальше. Такую схему называют систолическим массивом: данные движутся по нему ритмично, как кровь по сосудам при сокращениях сердца.
Все ячейки работают одновременно, поэтому вычисления идут параллельно и почти без простоев. Нейросети не нужно считать до десятого знака после запятой, чтобы узнать лицо на видео или понять голосовую команду. Ускоритель работает с упрощёнными, «округлёнными» числами.
Вычислительные блоки для них меньше по размеру, поэтому на одном кристалле (кремниевой пластинке, на которой размещена схема чипа) их помещается больше. Кроме того, они потребляют меньше энергии, а на результат работы сети это почти не влияет.
Откуда взялось
Google начала применять ИИ-процессоры внутри компании в 2015 году. Публике их показали в мае 2016 года на конференции Google I/O — к тому моменту процессор больше года работал в её дата-центрах.
Где применяется
В городском видеонаблюдении ускоритель разбирает поток прямо в камере, чтобы не гнать видео в центр обработки. В робототехнике и беспилотниках от него зависит, успеет ли машина среагировать: решение нужно за миллисекунды и без связи с сервером. В медицинской диагностике он обсчитывает снимки на месте, не выпуская данные пациента из клиники.
Московский след
Компания «ХайТэк», резидент ОЭЗ «Технополис Москва», выпустила компактный нейросетевой ускоритель LinQ HX. Он построен на российском микропроцессоре собственной разработки, обходится без иностранных лицензий и рассчитан на робототехнику и системы умного города.
Основные характеристики устройства от «ХайТэк»:
- 30 триллионов операций в секунду при потреблении мощности не более 40 ватт;
- задержка ответа от 1,5 до 2,3 миллисекунды и одновременная работа до пяти нейросетей.
Ускоритель будет внесен в реестр Минпромторга России. Он подключается к датчикам, камерам и системам управления. Среди перспективных областей применения компания называет видеонаблюдение, автономных роботов и медицинские системы диагностики.
Статью верифицировали сотрудники московской компании «ХайТэк».






