Топ лучших нейросетей для генерации и улучшения видео

То, что будущее интернета будет тесно связано с искусственным интеллектом, уже ни для кого не секрет. Всё чаще нейросети, машинное обучение и ИИ становятся драйверами по-настоящему важных изменений в мире. Всё сводится к тому, что с каждым годом все сервисы, гаджеты, приложения становятся умнее, способы их взаимодействия с человеком – гибче и сложнее, а грядущие поколения будут жить в окружении искусственного интеллекта, умных помощников и дипфейков, воспринимая их как что-то само собой разумеющееся.

Мы знаем, что владельцы проектов тоже следят за трендами и внедряют их у себя, и поэтому сегодня решили рассказать о сравнительно новом направлении в нейросетях – об инструментах для генерации видео с помощью ИИ. Видеорешения на базе ИИ появились только в 2023–2024 годах, и им еще предстоит пройти длинный путь развития и усовершенствования. Но уже сейчас они помогают разным специалистам с их задачами: генерируют рекламные ролики для маркетологов и контент для SMM-специалистов, вдохновляют и упрощают работу дизайнерам, снижают расходы и время на создание контента.

Мы предлагаем вам ловить тренд уже сейчас и познакомиться с ИИ для создания и улучшения видео. Учитывая, что генеративные нейросети, к которым они как раз относятся, достигнут своего пика к 2030 году, сегодня – самое время их изучить. Эта статья будет полезна всем, кто занимается созданием и распространением контента, специалистам в сфере маркетинга и рекламы, дизайнерам и просто тем, кому не безразлична отрасль технологий.

Итак, мы протестировали несколько нейросетей для генерации видео, выбрали самые интересные и функциональные и собрали из них топ, которым хотим поделиться с вами 🙂

Runway ML Gen-2

Наш топ ИИ для видео открывает сервис от Anthropic. Он вышел в свободный доступ в середине 2023 и за полтора года успел стать классикой. Здесь можно создавать ролики длиной 5–10 секунд на бесплатном тарифе. Всего для свободного теста ИИ дается 105 кредитов (это 25 секунд в режиме Gen-3 Turbo).

В Runway ML Gen-2 вы можете:

• Генерировать видео по картинке: вы добавляете изображение, а нейросеть дорабатывает его до ролика.
• Генерировать видео по текстовому описанию (промпту).
• Генерировать видео по промпту и изображению: вы добавляете изображение и прописываете текстовое ТЗ, что хотели бы видеть в сюжете.
• Дорабатывать и улучшать готовое видео до 30 секунд (встроенный редактор): вы загружаете свой ролик, прописываете промпт, а нейросеть выполняет задание (на платном тарифе).
• Убирать задний фон на видео.
• Интерполировать кадры – создавать промежуточные кадры между двумя или несколькими загруженными картинками.
• Превращать реальные видео в “нарисованные” кадры, будто бы созданные художником.
• Менять цветовую палитру видео.
• Замедлить видео (slow-motion).
• Заблюрить лица.
• Добавить субтитры и многое другое 🙂

Мы протестировали два режима – генерация по промпту и генерация по картинке. Вот что получилось:

Картинка с фотостока

Результат в GIF

Типичная для нейросетей “проблема пальцев” не обошла и Runway 🙂

Для генерации по промпту мы использовали описание “Pink unicorn riding a bike and driving in a big megapolis” или “Розовый единорог едет на велосипеде по мегаполису”.

Вот что получилось:

Результат в GIF

Генерация по промпту тоже получилась неидеальной: единорог ненастоящий, а его ноги не крутят педали. Но здесь многое решает качество промпта – если подробно расписать ИИ, что вы хотите увидеть, он с большей вероятностью выдаст желаемое. Как вариант, можно использовать ChatGPT для генерации задач 🙂

Ценовая политика нейросети:

• Тариф “Стандарт”: 625 кредитов ежемесячно, версия Gen-3 Alpha для генерации и Gen-2 для улучшения, можно убрать вотермарки, можно покупать больше кредитов. 100 Гб хранилища, техническая поддержка. 144 $ при оплате за год и 15 $ при оплате помесячно.
• Тариф “Про”. 2250 кредитов ежемесячно, возможность создавать собственные голоса, 500 Гб хранилища. Всё остальное соответствует тарифу “Стандарт”. 336 $ при оплате за год и 35 $ при оплате помесячно.
• Тариф “Неограниченный”. Неограниченное количество генераций с низкой скоростью (Explore Mode). Всё остальное соответствует тарифу “Про”. 912 $ при оплате за год и 95 $ при оплате помесячно.
• Тариф “Для компаний”. Единый вход для сотрудников, аналитика, настраиваемые командные пространства, внедрение на уровне предприятия, приоритетная поддержка, нет режима Explore Mode. Всё остальное соответствует тарифу “Про”. 1500 $ при оплате за год. При выборе этого тарифа нужно будет подписать специальное соглашение.

К сожалению, оплата сервиса российскими картами сейчас невозможна. Вариант решения проблемы – создавать разные аккаунты.

Sora

Мы не могли обойти вниманием, пожалуй, один из самых хайповых ИИ для создания видео сегодняшних дней – Sora от Open AI. Компания, создавшая ChatGPT и DALL-E, в декабре 2024 года открыла платный доступ к ИИ для генерации видео.

Что можно делать в нейросети:

• Генерировать видео продолжительностью до 20 секунд по промпту, картинке или готовому видео. Однако у генерации по картинке есть свои особенности – в Sora нельзя использовать изображения реальных людей без их согласия, а при генерации через картинку нужно обязательно соблюдать авторское право. Зато нейросеть отлично подходит для создания роликов из уже сгенерированных ИИ изображений.
• Редактировать видео – смешивать видео, создавать зацикленные анимации, менять концовку.
• Кадрировать видео – например, в длинном ролике можно прописать промпт для каждого кадра, а также генерировать клипы в едином стиле и объединять ролики.
• Накладывать фильтры – например, стилизовать видео под XX век или замедлить его, используя режим слоу-моушн.

В случае с Sora мы протестировали только один режим – генерацию через промпт, поскольку для креатива с картинкой нужно пройти через огонь, воду и железные ограничения Open AI 🙂

У Sora получился менее реалистичный креатив, чем у Runway (однако, возможно, при доработке промпта мы бы получили лучший вариант), но зато единорог крутит педали, он настоящий, мегаполис выглядит ярче, а машины на дороге двигаются.

Тарифы Sora:

• “ChatGPT Plus”. До 50 видео (1000 кредитов), качество до 720p, видео до 5 секунд. Стоит 20 $ в месяц.
• “ChatGPT Pro”. До 500 видео (10000 кредитов), неограниченное количество генераций на низкой скорости, качество до 1080p, видео до 20 секунд, 5 генераций одновременно. Доступно скачивание без водяных знаков. Стоит 200 $ в месяц.

Sora доступна только платно. Покупая тарифы ChatGPT, вы приобретаете не только доступ к Sora, но и к остальным сервисам Open AI. К сожалению, оплата сервиса российскими картами сейчас невозможна, как и свободный доступ к сервисам Open AI из России.

Kandinsky Video 1.1

Одна из самых первых нейросетей для генерации видео, созданная Сбером еще в ноябре 2023 года. Как утверждает Сбер, программа была разработана в партнерстве с Институтом искусственного интеллекта AIRI и тесно связана с сервисом компании для картинок Kandinsky 3.0: нейросеть создает видео, опираясь на плоды работы этого ИИ.

Kandinsky Video 1.1 умеет:

• Создавать анимации из промпта или готовой картинки.
• Генерировать видео из промпта продолжительностью до 6 секунд.

К сожалению, в российской нейросети практически нет настроек для видео – доступен только выбор соотношения сторон, что есть во всех описанных ранее ИИ. Нет настроек камеры или плана, генерации из картинки, фильтров, продления видео и других возможностей.

Однако обещают, что в первом квартале 2025 года появится обновление Kandinsky Video, где будут доступны генерация по изображению, выбор разрешения (включая HD) и даже возможность создавать мини-фильмы со сценарием и звуковым сопровождением. Специалисты по монтажу замерли в ожидании 🙂.

Возможно, не лучшая генерация: мегаполис вокруг “едет” во все стороны, вопреки законам физики, конечности плохо прорисованы, ноги едва крутят педали. Надеемся, в следующей версии ИИ Сбер проработает эти моменты.

Нейросеть полностью бесплатная.

Kling AI

“Last but not least” или последний гость нашего списка “топ нейросетей для создания видео”. Kling AI – один из популярных китайских ИИ-генераторов видео, созданный компанией Kuaishou. Сначала ИИ работал только на внутреннюю аудиторию, но уже в середине 2024 проник на Запад. Зарегистрироваться в Kling можно через email, доступны 366 кредитов в месяц (хватит на 18 роликов).

Что можно делать в нейросети:

• Генерировать видео по промпту длительностью до 2 минут. На бесплатной версии можно генерировать только 5-секундные ролики.
• Генерировать “промежуточные” кадры между первым и последним кадром*.
• Генерировать видео длительностью до 5 секунд по изображению.
• Продлевать уже созданные ролики на 4,5 секунд, создавая клипы*.
• Менять настройки генерации по ползунку “Creativity-Relevance”. Чем ближе к “Creativity” (с англ. “креативность”), тем более красивым, по мнению ИИ, будет видео, но тем дальше оно от ТЗ. Выкрученный на полную “Relevance” (с англ. “релевантность, соответствие”) генерирует максимально близкие к ТЗ ролики.
• Контролировать движения камеры, задавать динамичность, делать переходы, выбирать план и т. д. – благодаря настройкам “Camera Movement”.
• Выбирать то, чего точно не должно быть в видео – настройка “Negative Prompt”.

*(только на платной версии)

В Kling мы протестировали оба доступных из ТЗ режима – генерация по изображению и промпту. Вот что получилось:

Мы честно пытались найти в этом ролике недостатки, но пока не нашли. Возможно, дело в том, что пальцы спрятаны под варежками? 🙂

А вот и второй ролик по промпту “Pink unicorn riding a bike and driving in a big megapolis”:

Хорошее видео на этот промпт: мегаполис прорисован, машины едут, педали крутятся, а единорог двигается по правильной траектории. Из минусов: единорог больше похож на розовую лошадь, а машины справа как будто бы едут по тротуару. Однако в нашем списке “лучшие ИИ для генерации видео” Kling по праву занимает, пожалуй, первое место.

А теперь что по тарифам:

• Тариф “Стандарт”. 660 кредитов (≈ 66 видео) в месяц, ускоренные генерации, профессиональный режим (Professional Mode – лучшее качество видео, но ниже скорость), видео без водяных знаков, мастер-кадр и расширение видео, масштабирование изображений. 79,2 $ при оплате за год, 3,88 $ при оплате помесячно, 10 $ при оплате за месяц единоразово.
• Тариф “Про”. 3000 кредитов (≈ 300 видео) в месяц, приоритетный доступ к новым функциям. Всё остальное соответствует тарифу “Стандарт”. 293,04 $ при оплате за год, 12,88 $ при оплате помесячно, 37 $ при оплате за месяц единоразово.
• Тариф “Премьер”. 8000 кредитов (≈ 800 видео) в месяц. Всё остальное соответствует тарифу “Про”. 728,64 $ при оплате за год, 28,88 $ при оплате помесячно, 92 $ при оплате за месяц единоразово.

К сожалению, оплата сервиса российскими картами сейчас невозможна.

Заключение

Скажем честно – до написания этой статьи всё наше представление о нейросетях для видео сводилось к тому, что ИИ дорисовывает пальцы и пугает своей криповостью. Однако результаты эксперимента с четырьмя нейросетями впечатлили, а учитывая то, что решения для генерации роликов только появляются на рынке, уверены, нас ждет еще много интересного – возможно, лучшие ИИ для видео только впереди 🙂

Конечно, описанные в статье нейросети для создания видео – не все, что доступны сегодня. Популярны также Stable Video Diffusion (однако зарегистрироваться и получить доступ к платформе сложно), Pictory (особенно хорош для генераций видео для SMM из стоковых картинок), Pika 2.0 (подходит для генерации по промпту, картинке или видео), Genmo (бесплатный, понимает по-русски), Шедеврум (российский, бесплатный, без ограничений).

А если в этой статье вы не нашли ответа на вопрос, где лучше создавать видео, то самостоятельно настроить и обучить ИИ-модель можно с помощью выделенного сервера с видеокартами: такие серверы подбираются индивидуально, при этом вам не придется самостоятельно переносить проект, администрировать сервер и следить за его корректной работой – всё это мы берем на себя. Ну а если вы хотите иметь полный контроль над сервером, возможно, вам будет полезен VPS, в нашем каталоге множество готовых решений для различных задач. VPS предполагает самостоятельное администрирование, с каждым сервером выдается выделенный IP-адрес, а также бесплатно предоставляются автоматические бэкапы данных, DNS-хостинг, приватные сети и многое другое 🙂

Если у вас возникли какие-либо вопросы, свяжитесь с нами удобным для вас способом – и мы обязательно ответим. Также ждем вас в нашем официальном Telegram-канале, а обсудить статью или просто пообщаться на любую тему с коллегами по цеху и сотрудниками Бегета вы можете в нашем чате.