Google представил AutoFlip, фреймворк для умного кадрирования видео

16.02.2020 09:28

Компания Google представила открытый фреймворк AutoFlip, предназначенный для кадрирования видео с учётом смещения ключевых объектов. AutoFlip использует методы машинного обучения для отслеживания объектов в кадре и оформлен как надстройка над фреймворком MediaPipe, который использует TensorFlow. Код распространяется под лицензией Apache 2.0.

На широкоэкранном видео объекты не всегда находятся в центре кадра, поэтому фиксированного обрезания краёв не всегда достаточно. AutoFlip отслеживает активность людей и объектов в кадре, и динамически смещает окно кадрирования для оптимального охвата ключевых элементов сцены (например, если в кадре несколько людей и один из них говорит или двигается, то фокус кадрирования будет может быть сосредоточен на этом человеке).

исправить –6 +/–

Лицензия: CC BY 3.0

Короткая ссылка: https://opennet.ru/52379-mediapipe

Ключевые слова: mediapipe, video, autoflip, ai

При перепечатке указание ссылки на opennet.ru обязательно

Обсуждение (59)

1.1, artenox (?), 09:48, 16/02/2020 [ответить] [﹢﹢﹢] [ · · · ]	–3 +/–
Крутая вещь для просмотра 2.35:1 на 16:9 и 16:9 на 4:3. Вопрос юзабельно ли это для домашнего применения? Закинул на вход видео, на выходе получил готовое. Кстати, а в каких монтажках Pan и Scan можно оперативно менять? В идеале, чтобы вообще на лету (как мультикам переключают).

2.2, artenox (?), 09:53, 16/02/2020 [^] [^^] [^^^] [ответить]	–1 +/–
А в каких монтажках можно делать такой стаб? (без обрезки) https://youtu.be/-kS2JCLwcWA?t=347

3.56, Аноним (56), 21:57, 17/02/2020 [^] [^^] [^^^] [ответить]	+/–
> А в каких монтажках можно делать такой стаб? ffmpeg! Хоть он и не монтажка... в привычном понимании... но "линейный" процессинг им делать можно, и он даже умеет делать весьма заковыристые вещи.

2.41, Аноним (41), 20:41, 16/02/2020 [^] [^^] [^^^] [ответить]	+1 +/–
> Крутая вещь для просмотра 2.35:1 на 16:9 и 16:9 на 4:3. Это, в смысле, выкинуть половину видео - и тогда влезет в экран? Ну круто, да :)

3.58, Takov_put (?), 09:35, 18/02/2020 [^] [^^] [^^^] [ответить]	+/–
Ну так зачем вам пейзажи Мандалорца, не в них же соль сериала...

1.3, Аноним (3), 10:22, 16/02/2020 [ответить] [﹢﹢﹢] [ · · · ]	–2 +/–
>оформлен как надстройка над фреймворком MediaPipe, который использует TensorFlow. Продвижение своих продуктов путём завязывания всего на них.

2.5, A.Stahl (ok), 10:28, 16/02/2020 [^] [^^] [^^^] [ответить]	+15 +/–
И я, скотина эдакая, когда пишу код, то часто использую свои предыдущие наработки. Более того -- я считаю что это удобно. И ради чего? Ради экономии своих нафиг окружающим не интересных времени и нервов. И мне даже не стыдно.

3.6, Аноним (3), 10:39, 16/02/2020 [^] [^^] [^^^] [ответить]	–1 +/–
Успокойся, я сам тоже так делаю.

3.7, Аноним (7), 10:59, 16/02/2020 [^] [^^] [^^^] [ответить]	–7 +/–
Да ты же еще и ОС сам для себя написал под своё же железо.

3.43, Lex (??), 21:53, 16/02/2020 [^] [^^] [^^^] [ответить]	–1 +/–
Под какой лицензией ?

1.4, Аноним (4), 10:27, 16/02/2020 [ответить] [﹢﹢﹢] [ · · · ]	+11 +/–
Фреймворк делающий вертикальные видео из горизонтальных

2.8, Аноним (7), 11:01, 16/02/2020 [^] [^^] [^^^] [ответить]	–14 +/–
Горизонтальные видео пережиток прошлого где их смотреть в кинотеатре? В таких штуках которые когда-то назывались ПК? Да где их сейчас найдешь в музее?

3.9, artenox (?), 11:16, 16/02/2020 [^] [^^] [^^^] [ответить]

+7 +/–

Вертикальные видео снимают только ламеры, которые не знают, что перед съемкой надо повернуть смартфон иначе потом будет больно смотреть на большом брате.

> в музее

Вот именно, вертикальные видео это даже не 4:3 (1.33:1), а 9:16 (0.56:1). Даже не квадрат.

4.11, Аноним (-), 11:57, 16/02/2020 [^] [^^] [^^^] [ответить]	+/–
> иначе потом будет больно смотреть на большом брате Они не смотрят на большом брате. Да и большого брата часто уже нет.

5.12, Аноним (12), 12:28, 16/02/2020 [^] [^^] [^^^] [ответить]	+/–
Есть же, большой брат с торрентами стоит у каждого в гостиной. У некоторых в спальне, но это от недостатка места. С огромной диагональю, а иначе какой смысл.

6.17, Аноним (3), 13:35, 16/02/2020 [^] [^^] [^^^] [ответить]	+1 +/–
Торренты обычно на роутерах и насах крутят

6.19, Аноним (19), 13:58, 16/02/2020 [^] [^^] [^^^] [ответить]	+/–
У каждого питекантропа стоит в гостиной. С другой стороны мнением этих форм жизни пренебрегает даже гугл как видно из новости.

7.26, Аноним (12), 17:08, 16/02/2020 [^] [^^] [^^^] [ответить]	+/–
А как кино смотреть без большого брата? DRM вроде и движется именно по этому пути: смотреть только дома, на сертифицированном оборудовании, в группы больше 1 не собираться…

7.52, KhabMan (ok), 06:35, 17/02/2020 [^] [^^] [^^^] [ответить]	+/–
> мнением этих форм жизни пренебрегает даже гугл Так пренебрегает, что постоянно апгрейдит хромкаст, ага...

7.59, Takov_put (?), 09:37, 18/02/2020 [^] [^^] [^^^] [ответить]	+/–
с одной стороны рад, что не питекантроп, с другой как то обидно, что хочется им стать(купить большого брата с плойкой)

5.22, Аноним (3), 15:41, 16/02/2020 [^] [^^] [^^^] [ответить]	+/–
>Да и большого брата часто уже нет. Тут должна была быть модифицированная мемоцитата, но я так и не придумал, как её нормально отпетросянить.

5.30, artenox (?), 17:44, 16/02/2020 [^] [^^] [^^^] [ответить]	+/–
> большого брата часто уже нет Телеков тоже уже нет?

4.18, Аноним (19), 13:57, 16/02/2020 [^] [^^] [^^^] [ответить]	–4 +/–
только старперы которые в принципе знают что такое большой брат или "телевизор". Кстати от телевизора у них же и атрофировались умственные способности. Теперь они не в состоянии осознать что может быть по другому.

3.27, коржик (?), 17:35, 16/02/2020 [^] [^^] [^^^] [ответить]	+/–
Телефон ещё можно боком держать

4.38, молодой продвинутый нестарпер (?), 20:22, 16/02/2020 [^] [^^] [^^^] [ответить]	+1 +/–
да ну, че, как лоху, чтоль? Надо просто телик прикрутить к стене норм, а не как лохи, горизонтально.

5.47, Аноним (-), 22:40, 16/02/2020 [^] [^^] [^^^] [ответить]	–2 +/–
> да ну, че, как лоху, чтоль? Надо просто телик прикрутить к стене > норм, а не как лохи, горизонтально. Про кронштейны умеющие поворачиваться вокруг своей оси для переключения портрет-пейзаж нестарперам походу не рассказали :)

6.49, Аноним (49), 22:53, 16/02/2020 [^] [^^] [^^^] [ответить]	+/–
Это ты маленькую πиздφлинку можешь повращать, а не нормальный телик, который упрётся тебе в пол при попытке...

7.57, Аноним (56), 22:00, 17/02/2020 [^] [^^] [^^^] [ответить]	+/–
> Это ты маленькую πиздφлинку можешь повращать, а не нормальный телик, который > упрётся тебе в пол при попытке... Так, блин, его ж на некоторой высоте вешают, если такого хотелось. И чтоб оно в пол уперлось - это у вас чего там, двухметровая диагональ? :)

3.34, Суп из потрошков (?), 19:22, 16/02/2020 [^] [^^] [^^^] [ответить]	+/–
Что вы залили в свою машину времени для параллельных вселенных?

4.42, Crazy Alex (ok), 21:12, 16/02/2020 [^] [^^] [^^^] [ответить]	+1 +/–
Засыпали.

3.50, Аноним (50), 22:54, 16/02/2020 [^] [^^] [^^^] [ответить]	+2 +/–
> Горизонтальные видео пережиток прошлого где их смотреть в кинотеатре? В таких штуках которые когда-то назывались ПК? Да где их сейчас найдешь в музее? Возьмите: ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,, Кончатся, пишите. Ещё вышлю.

4.60, Товарищ сержант (?), 14:15, 18/02/2020 [^] [^^] [^^^] [ответить]	+/–
че это за забавные значки ?

1.10, Аноним (10), 11:49, 16/02/2020 [ответить] [﹢﹢﹢] [ · · · ]	+6 +/–
можно будет превью из порно по-умному нарезать

1.13, Аноним (49), 12:59, 16/02/2020 [ответить] [﹢﹢﹢] [ · · · ]	+2 +/–
Зачем переводить нормальное видео в вертикальное?!

1.14, Аноним (14), 13:01, 16/02/2020 [ответить] [﹢﹢﹢] [ · · · ]	+/–
Народ а как запустить то все это дело на пк ?

2.20, Аноним (19), 14:00, 16/02/2020 [^] [^^] [^^^] [ответить]	–3 +/–
А как это запустить на утюге? Ответ утюги и твой пк не нужен, купи нормальный смарт смотри на нем. В естественном вертикальном положении.

3.24, Аноним (14), 16:02, 16/02/2020 [^] [^^] [^^^] [ответить]	–2 +/–
Нет я к тому что как можно конвертировать видео и сохранить его

4.31, Аноним (31), 18:00, 16/02/2020 [^] [^^] [^^^] [ответить]	+/–
Ну там как бы инструкция по установке там и базель правильной версии нужен и все дела, но я решил вместо тебя ставь через докер. Потом запуская example/desktop/autoflip не путая ключики прописываешь путь к своем файлу и на выходе получаешь порезанный. Если с консолью линуксом и докером никогда не работал лучше не пробуй.

3.46, Аноним (46), 22:29, 16/02/2020 [^] [^^] [^^^] [ответить]	+/–
> купи нормальный смарт смотри на нем И деньги на новые глаза приготовь.

1.15, Аноним (15), 13:29, 16/02/2020 [ответить] [﹢﹢﹢] [ · · · ]	+2 +/–
Google: "фреймворк умного кадрирования видео для глупых людей" ;)

2.21, Аноним (19), 14:00, 16/02/2020 [^] [^^] [^^^] [ответить]	–1 +/–
Для нормальных прогрессивных людей.

3.45, Аноним (45), 22:07, 16/02/2020 [^] [^^] [^^^] [ответить]	+6 +/–
Он так и сказал, просто слов меньше.

1.16, Аноним (14), 13:35, 16/02/2020 [ответить] [﹢﹢﹢] [ · · · ]	+/–
Народ а как запустить то все это дело на пк ?

2.23, Аноним (3), 15:43, 16/02/2020 [^] [^^] [^^^] [ответить]	–1 +/–
Заплатить гуглу. Гугл сделал почти всё, чтобы обычные пользователи не могли сами собрать его продукты.

1.25, Kuromi (ok), 17:07, 16/02/2020 [ответить] [﹢﹢﹢] [ · · · ]	+/–
Они придумали фреймворк который превращает "горизонтальные" видео в "смартфонно-вертикальные" ? О времена о нравы... Гуглу надо не софт для этого придумывать, а на Ютубе банить вертикальные видосы, неужели так сложно повернуть смартфон при съемке? Впрочем, мне уже попадался один "инновационный интернет кинотеатр с вертикальными фильмами адаптированными для смартфона".

2.28, A.Stahl (ok), 17:38, 16/02/2020 [^] [^^] [^^^] [ответить]	–1 +/–
>неужели так сложно повернуть смартфон при съемке? Т.е вариант когда нужно снять что-то узкое и высокое ты сразу отметаешь? Ты предпочитаешь снимать это мелким и занимать бОльшую часть площади видео каким-то неактуальным фоном?

3.33, Аноним (33), 18:31, 16/02/2020 [^] [^^] [^^^] [ответить]	+1 +/–
Хм. А глаза у нас тоже по вертикали расположены? Да даже один глаз имеет зрительную зону больше по горизонтали, чем по вертикали. Потому горизонтальное видео и смотрится естественно и лишний фон не мешает, а наоборот создаёт среду для объектов.

2.36, безопастный город (?), 19:52, 16/02/2020 [^] [^^] [^^^] [ответить]

+/–

нет, они придумали фреймворк, который вырезает из видео обзорной камеры - тебя.

И если ты думаешь, что для чего хорошего - то у меня для тебя плохие новости.

1.29, Аноним (15), 17:41, 16/02/2020 [ответить] [﹢﹢﹢] [ · · · ]	+/–
> что-то узкое и высокое Хорошо хоть не длинное, БГГ!)))

2.32, Аноним (31), 18:02, 16/02/2020 [^] [^^] [^^^] [ответить]	+/–
Длинное можно потом повернуть на 90 градусов и нарезать сабжем самые интересные места.

1.35, Суп из потрошков (?), 19:24, 16/02/2020 [ответить] [﹢﹢﹢] [ · · · ]	–1 +/–
А если собачка побежала в одну сторону, а мужик в другую?

2.37, безопастный город (?), 19:53, 16/02/2020 [^] [^^] [^^^] [ответить]	+/–
модель обучали - на людях, собачки ей неинтересны. Просто в этом кадре кроме человека есть еще лишний объект.

2.39, artenox (?), 20:30, 16/02/2020 [^] [^^] [^^^] [ответить]	–1 +/–
А если в одну сторону побежит баба, а в другую мужик, кого выберет гугл?

3.40, Аноним (40), 20:38, 16/02/2020 [^] [^^] [^^^] [ответить]	+/–
В центре оставит. Вот, если они побегут с разной скоростью, интересно будет посмотреть как нейросеть расплющит. Возможно, камера проводит мужика, а потом вернется к бабе.

3.44, Аноним (-), 22:05, 16/02/2020 [^] [^^] [^^^] [ответить]

+/–

> кого выберет гугл?

Сделает стерео! А то что вы станете косоглазым - извините, в лицензии написано же: as is!

1.51, Аноним (51), 03:41, 17/02/2020 [ответить] [﹢﹢﹢] [ · · · ]	+/–
Бенни Хилл отлично продемонстрировал кадрирование в "Deep in my Heart" (также ищется по «benny hill pan and scan»).

2.54, Аноним (10), 10:28, 17/02/2020 [^] [^^] [^^^] [ответить]	+/–
ну иди передёрни, раз такое дело

1.53, Huff (?), 08:26, 17/02/2020 [ответить] [﹢﹢﹢] [ · · · ]	+/–
надо чтобы смарт при попытке снимать вертикально бился током

2.55, Аноним (46), 11:08, 17/02/2020 [^] [^^] [^^^] [ответить]	+/–
И лезвия бы по бокам выскакивали и отрезали пальцы.

игнорирование участников | лог модерирования

Добавить комментарий

Текст: