Поиск нейронной архитектуры (NAS) — это автоматизированный процесс, при котором с помощью алгоритмов оптимизации находят подходящие архитектуры нейронных сетей.
Типичные методы включают обучение с подкреплением, эволюционные алгоритмы или дифференцируемые методы поиска архитектуры.
Пространство поиска определяет возможные архитектуры, например количество и тип слоёв, виды соединений или гиперпараметры.
NAS оптимизирует как производительность (например, точность), так и эффективность (например, вычислительные затраты), что позволяет создавать модели лучше, чем вручную разработанные архитектуры.
Важным аспектом является баланс между временем поиска и качеством модели, так как NAS обычно очень ресурсоёмок, и применяются такие техники, как прокси-модели или разделение весов, чтобы ускорить поиск.