Бесплатный фрагмент - Генеративный искусственный интеллект #Forge&flux

Введение

Прошел всего год с того момента, когда я работал над книгой «Невероятный искусственный интеллект Easy Diffusion 3.0». В ней я высказал свое мнение о том, что постичь мир удивительного искусственного интеллекта возможно только тогда, когда мы с вами cможем увидеть положительные результаты его работы, созданные при нашем непосредственном участии. Эти результаты должны быть понятны и объяснимы каждому человеку, а также они должны быть этичны, непредвзяты и не нарушать закон. Сейчас мое мнение осталось неизменным, с небольшой поправкой лишь на то, что мы должны с вами помимо всего прочего получать максимальное удовлетворение от раскрытия наших интеллектуальных и творческих потенциалов, реализованных в совместной работе с искусственным интеллектом.

Согласитесь, когда мы занимаемся любимой работой — эта работа вдвойне эффективнее и полезнее для всех.

Как вы уже знаете, на сегодняшний день, генеративный искусственный интеллект может делать многое, например: написать текст нового стихотворения или даже целого рассказа, воспроизвести его различными голосами знаменитых актеров, написать новую музыку или песню, проанализировать большое количество числовых данных и составить прогноз на будущее, играть с нами или сразу с тысячью людей в компьютерные игры. Вообще говоря, его возможности, по большей части, ограничиваются лишь нашей с вами фантазией и, к сожалению, затратами на их реализацию.

Пожалуй, одной из самых впечатляющих способностей генеративного искусственного интеллекта, на мой взгляд, является его умение создавать уникальные и невероятные изображения. Эти изображения могут быть воплощением трехмерного мира фантастического будущего в компьютерной игре или быть виртуальной симуляцией окружающего нас мира. Изображения могут быть трехмерными или двумерными, а также могут быть выполнены в различных стилях живописи знаменитых художников разных эпох. Но самое интересное то, что на этих изображениях могут появиться существа или предметы, не существующие в нашем мире, которые тем не менее можно материализовать, например, с помощью 3D-принтера.

Книга, которую вы держите в руках, является учебным пособием по работе с системой генеративного искусственного интеллекта Stable Diffusion WebUI Forge, при помощи которой вы научитесь создать невероятные фотореалистичные изображения из текстовых описаний и графических изображений.

На момент написания и публикации этой книги, наиболее популярной моделью, которую поддерживает Stable Diffusion WebUI Forge и при помощи которой создаются уникальные изображения является FLUX.1.

В 2024 году модель FLUX.1 стала прорывной технологией в генеративном искусственном интеллекте, оставив позади себя все остальные модели от лидеров рынка. Десятки Интернет-сервисов стали рекомендовать ее, как наиболее производительную и эффективную при создании изображений. И, как вы уже поняли, именно этой модели уделяется основное внимание в этой книге.

Модель FLUX.1 была создана в 2024 году бывшими инженерами из компании Stability AI, которые занимались разработкой и развитием знаменитой модели Stable Diffusion. Робин Ромбах (Robin Rombach), Андреас Блаттманн (Andreas Blattmann), Доминик Лоренца (Dominik Lorenz) и Патрик Эссер (Patrick Esser) объединили свои усилия в работе над новым проектом FLUX.1 и создали новую компанию Black Forest Lab.

Black Forest Lab предлагает нам три версии модели FLUX.1:

— FLUX.1 [pro] — самая мощная версия реализация коммерческой модели доступная к использованию через API у партнеров компании или в индивидуальном порядке.

— FLUX.1 [dev] — немного облегченный вариант первой модели не для коммерческого использования. Варианты реализации модели можно найти на сайте huggingface.

— FLUX.1 [schnell] — самая быстрая реализация модели с открытым исходным кодом, которая так и называется «быстрая / нем. schnell». Она предназначена для использования на локальных компьютерах. Исходный код можно найти на сайте GitHub. Варианты реализации модели можно найти сайте huggingface.

По очень смелой оценке инженеров Black Forest Lab, данная модель боле производительна чем все разновидности модели Stable Diffusion, Midjourney и DALL-E.

С помощью этой книги вы сможете самостоятельно установить, настроить и удалить совершенно бесплатную программу Stable Diffusion WebUI Forge и ее компоненты на свой компьютер, включая модель FLUX.1, а также подключить к ней различные дополнительные модули, которые значительно расширят ее возможности по созданию и обработке изображений. Это поможет вам в дальнейшем, через удобный пользовательский интерфейс, научится создавать уникальные и неповторимые изображения, которые вы сможете использовать в своей учебе или для развлечений.

Для целей дальнейшего продвижения и наглядности получаемых результатов работ я придумал хештег #FORGE&FLUX, который, в том числе, стал частью названия этой книги.

По требованию издателя, большинство ссылок на сайты программ, дополнительные модули и модели перемещены в список литературы.

Свои результаты работ, созданные при помощи модели FLUX.1 я опубликовал в отдельной своей книге «Сказки старой Твери: ночь лесных духов», которая посвящена славянской мифологии.

Приятного вам чтения и продуктивной работы!

Ваш Александр Чесалов.

Самые популярные системы создания изображений

На сегодняшний день существует достаточно большое количество различных платных и бесплатных программ, которые на базе технологий генеративного искусственного интеллекта создают невероятно красивые изображения. Некоторые из этих программ можно загрузить и установить на свой домашний или рабочий компьютер и работать с ними автономно без подключения к сети. Тем не менее большинство из них находятся в сети Интернет. Множество сайтов предоставляют различные on-line-сервисы по созданию изображений с применением различных моделей искусственного интеллекта. Эти сайты в основном используют модели для генерации изображений Stable Diffusion, Midjourney, Kandinsky и многие другие.

На мой взгляд, наибольшей популярностью пользуются следующие программы и сервисы:

— Midjourney — очень популярная система генеративного искусственного интеллекта, созданная одноименной компанией Midjourney. Искусственный интеллект Midjourney — это web-сервис в сети Интернет, который позволяет создавать очень красивые изображения, при этом не задействуя вычислительные ресурсы вашего компьютера. Для ее использования у вас должна быть установлена программа Discord — удобный мессенджер для групповой работы, который часто используют игроки по всему миру. Основной недостаток программы заключается в том, что не так давно Midjourney стала полностью платной.

— Stablecog — это очень простой в использовании, но в то же время очень удобный web-сервис. К сожалению, он платный. Тем не менее — это мой любимый сервис. В день можно создать двадцать бесплатных изображений. Если вы долго не работали с сервисом после регистрации, ваши баллы за пропущенные дни суммируются.

Не так давно в Stablecog появилась модель FLUX.1.

— Leonardo.Ai — это красочный web-сервис в сети Интернет, предоставляющий доступ к одноименной нейросети Leonardo.Ai. С ее помощью вы можете создавать изображения из текста и других изображений. К достоинствам Leonardo.Ai можно отнести удобный в использовании интерфейс работы. К недостаткам — это ограничение на число создаваемых изображений в день. Изображения создаются очень быстро и качественно, но пока вы научитесь делать что-то качественное, пройдет достаточно много времени. Если вы захотите потратить больше времени на работу с этой программой, готовьтесь заплатить за дополнительные функции. Очень часто Leonardo.Ai сравнивают с Midjourney, но кто из них лучше — это решать только вам.

— Easy Diffusion — полностью бесплатная система искусственного интеллекта, которая объединила в себе возможности использования Midjourney и Stable Diffusion. Easy Diffusion предлагает вам удобный и простой web-интерфейс, который позволяет не только создавать очень красивые изображения, но и подключать к ее работе различные дополнительные модули и модели. По умолчанию в программе уже предустановлена нам известная модель Stable Diffusion.

К еще одному достоинству программы можно отнести то, что она очень просто устанавливается на компьютер или ноутбук и работает с не очень мощными видеокартами. К недостатку программы можно отнести только затрачиваемое вами время на создание изображений. Например, если изображение в Dreamstudio.ai создается за 20 секунд, то в Easy Diffusion на создание может уходить до 120 секунд.

Еще раз обращу ваше внимание на то, что Easy Diffusion — это простая к установке сборка программных пакетов (или, другими словами, дистрибутив) системы генеративного искусственного интеллекта Stable Diffusion для различных операционных систем.

К сожалению, вы можете скачать дополнительно с сайта www.civitai.com (где есть очень много полезных моделей) новую модель FLUX.1 (хотя, много вариантов ее реализации там уже выложили). Я проверил и на момент написания этой книги, там нет ни одной работающей с Easy Diffusion.

Подробно об Easy Diffusion я рассказываю в своей книге «Невероятный искусственный интеллект Easy Diffusion 3.0».

— Dreamstudio.ai — это web-сервис, созданный компанией Stability AI, которая разработала одну из самых известных нейросетевых моделей под названием Stable Diffusion. Web-сервис очень удобный и позволяет создавать любые изображения очень быстро. Это происходит потому, что сервис Dreamstudio.ai использует очень мощные сервера для генерации изображений. Другими словами, ваш компьютер не задействуется в процессе создания изображений, что является существенным достоинством программы. В то же время недостатком использования Dreamstudio.ai является ограничение на число создаваемых картинок.

— Stable Diffusion Web UI — это программа с удобным web-интерфейсом, которую вы можете установить непосредственно на свой компьютер. К ее достоинствам можно отнести то, что это полностью бесплатный вариант использования модели Stable Diffusion.

В программе можно выбрать гибкие настройки для улучшения качества изображения и его преобразования в новую версию или создания на ее основе другого изображения. К недостаткам можно отнести некоторые трудности, связанные с установкой и необходимостью наличия у вас дополнительных знаний о программах, необходимых для ее работы (например, таких как Python и Git). Stable Diffusion можно рекомендовать всем тем пользователям, кто уже получил большой опыт работы с Easy Diffusion,,.

— Stable Diffusion WebUI Forge — это новая разработка, основанная на базе Stable Diffusion WebUI и поддерживающая работу новой модели FLUX, которую можно установить на свой компьютер и работать без привязки к сети Интернет бесплатно.

В этой книге мы подробно рассмотрим подробно работу программы Stable Diffusion WebUI Forge и модели FLUX.

Шаг 1. Установка Stable Diffusion WebUI Forge

Для того, чтобы определиться с выбором сборки (или дистрибутива), нам необходимо с вами получить нужную информацию от нашей операционной системы, чтобы узнать версию CUDA (Compute Unified Device Architecture).

CUDA — это технология, работающая на базе программно-аппаратной архитектуры, которая позволяет повысить производительность параллельных вычислений. Параллельные вычисления — это вычисления, при которых процесс разработки программного обеспечения делится на потоки. Потоки обрабатываются параллельно и взаимодействуют между собой в процессе обработки. Технология CUDA поддерживается процессорами видеокарт NVIDIA, которые используют системы генеративного искусственного интеллекта для создания различного контента.

Для определения версии CUDA, в строке поиска наберем и выполним команду cmd, как показано на рисунке ниже:

После того, как вы выполните команду cmd, нажав кнопку Enter на клавиатуре, перед вами откроется консоль для ввода пользователем текстовых команд.

В ней вам нужно ввести команду nvidia-smi и нажать Enter.

В результате вы увидите следующую таблицу, где справа сверху будет написана версия CUDA:

После чего вы открываете свой Интернет-браузер и переходите на страницу: https://github.com/lllyasviel/stable-diffusion-webui-forge?tab=readme-ov-file, где ближе к середине страницы находите ссылку на файл дистрибутива.

В зависимости от версии CUDA, выбираете ссылку для скачивания, как показано на рисунках ниже.

Для вашего удобства я ее перевел:

У меня версия CUDA 12.2, поэтому я выбираю первую ссылку для скачивания.

После чего на ваш компьютер загрузится архивный файл webui_forge_cu121_torch231.7z

Для его распаковки вам понадобится архиватор 7z, который можно скачать бесплатно или Zip-архиватор.

Внутри архива вы увидите следующие папки:

Создайте на любом диске, где у вас есть достаточно места папку с названием «Stable Diffusion WebUI Forge» и распакуйте содержимое архивного файла в эту папку (например, у меня файлы находятся по следующему пути D:\Stable Diffusion WebUI Forge).

Нужно отметить, что для программы Stable Diffusion WebUI Forge нужно 6,5 Гбайт дискового пространства, а для моделей FLUX.1 еще 50 Гбайт.

После распаковки файлов в папку «Stable Diffusion WebUI Forge» программа Stable Diffusion WebUI Forge полностью установлена на ваш компьютер.

Но. Пока не спешите ее запускать. Нам еще нужно сделать два важных действия, о которых речь пойдет дальше.

Шаг 2. Установка модели FLUX.1

После установки системы Stable Diffusion WebUI Forge, которая обеспечит нам удобный интерфейс и работу с большим числом различных функций и параметров, нам теперь необходимо скачать файл нужной версии модели FLUX.1, которая бы быстро и качественно работала на нашем компьютере.

Напомню вам, что есть три основные версии модели, созданные разработчиками Black Forest Lab:

— FLUX.1 [pro] — самая мощная версия реализация коммерческой модели доступная к использованию через API у партнеров компании или в индивидуальном порядке.

— FLUX.1 [dev] — немного облегченный вариант первой модели не для коммерческого использования. Варианты реализации модели можно найти на сайте huggingface.co.

Сайт с моделью от разработчика:

https://huggingface.co/black-forest-labs/FLUX.1-dev

— FLUX.1 [schnell] — самая быстрая реализация модели с открытым исходным кодом, которая так и называется «быстрая / нем. schnell». Она предназначена для использования на локальных компьютерах. Исходный код можно найти на сайте GitHub. Варианты реализации модели можно найти сайте huggingface.co.

Сайт с моделью от разработчика:

https://huggingface.co/black-forest-labs/FLUX.1-schnell

Несомненно, нужно начинать свою работу с установки и тестирования самой простой из них.

Существует несколько версий уже подготовленных файлов моделей FLUX.1 [dev] и FLUX.1 [schnell] от разных разработчиков. Рассмотри некоторые из них, которые наиболее стабильно работают (от разработчиков silveroxides и lllyasviel).

Готовый файл самой быстрой модели FLUX.1 [schnell] для не очень мощных компьютеров с видеокартами предыдущих поколений (например, как у меня NVIDIA GTX 980 с 4 Гбайтами видео памяти) называется flux1-schnell-bnb-nf4.safetensors. Я протестировал работу этого файла, и он показал себя очень хорошо при создании различных изображений.

Скачать файл можно по следующей ссылке: https://huggingface.co/silveroxides/flux1-nf4-weights/tree/main

Если у вас более мощная видеокарта, например NVIDIA RTX 30xx/40xx, то вам необходимо скачать следующий файл модели flux1-dev-bnb-nf4-v2.safetensors по следующей ссылке: https://huggingface.co/lllyasviel/flux1-dev-bnb-nf4/tree/main.

По заявлению разработчика модель второй версии flux1-dev-bnb-nf4-v2.safetensors работает быстрее, но она чуть больше по размеру файла.

Если у вас видеокарта серии NVIDIA GTX 10XX/20XX, то она не поддерживает работу данной модели и вам нужно скачать файл flux1-dev-fp8.safetensors по следующей ссылке: https://huggingface.co/lllyasviel/flux1_dev/blob/main/flux1-dev-fp8.safetensors.

Если вы обратите внимание файл этой реализации модели значительно больше остальных по своему размеру.

Таким образом, вы загрузили для себя один из необходимых фалов модели FLUX.1.

Модель FLUX.1 [schnell]:

— файл flux1-schnell-bnb-nf4.safetensors;

Модель FLUX.1 [dev]:

— файл flux1-dev-bnb-nf4-v2.safetensors;

— файл flux1-dev-bnb-nf4.safetensors);

— файл flux1-dev-fp8.safetensors.

Теперь загруженный файл (или файлы) модели нам нужно переместить в папку моделей «Stable-diffusion».

Например, эта папка у меня находится по следующему пути D:\Stable Diffusion WebUI Forge\webui\models\Stable-diffusion.

Открываем папку и копируем туда файл или все файлы моделей.