Apple выпустила ИИ-редактор под названием MGIE, который способен редактировать изображения с помощью текстовых подсказок. MGIE поддерживает настройки как у Photoshop, глобальную оптимизацию и локальные изменения.
Исследователи Apple и специалисты Калифорнийского университета в Санта-Барбаре совместно разработали ИИ-редактор MGIE. Модель редактирования изображений демонстрирует значительное улучшение по сравнению с существующими инструментами.
Инструмент способен выполнять правки как в Photoshop, которые включают обрезку, изменение размера, поворот, добавление фильтров и многое другое. Он также формирует глобальную оптимизацию, изменяя яркость, контрастность, резкость, цветовой баланс и даже добавляя к изображению дополнительные элементы. Кроме того, нейросеть может выполнять локальные правки, добавляя, удаляя или изменяя один конкретный объект или элемент на изображении.
Чтобы внести изменения, пользователи могут просто ввести текстовую подсказку, например, «сделать небо ярче» или «увеличить дом». Пользователи также могут вносить более сложные и детализированные изменения, такие как «настройка между темными и светлыми областями для выделения деталей листьев и ствола дерева». Чем подробнее будет подсказка, тем ближе к желаемому результату она будет получена.
Хотя ИИ-инструменты для редактирования фотографий, такие как генеративная заливка в Photoshop, FireFly, Magic Design от Canva и Luminar Neo, уже существуют, все они требуют от пользователя взаимодействия с ПО. Нейросеть от Apple может выполнять редактирование полностью самостоятельно. MGIE использует диффузионную систему, которая представляет собой продвинутую архитектуру и мультимодальную модель языковых данных.
Технологический гигант сделал MGIE доступным для загрузки в виде проекта с открытым исходным кодом на GitHub. На данный момент неизвестно, планирует ли Apple использовать эту технологию для своих устройств.