The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Рейтинг открытости генеративных AI-моделей

27.06.2024 13:20

Исследователи из Университета Неймегена (Нидерланды) подготовили рейтинг открытости 40 больших языковых моделей и 7 моделей для генерации изображений по текстовому описанию, которые заявлены производителями как открытые. Из-за того, что критерии открытости моделей машинного обучения ещё только формируются, в настоящее время сложилась ситуация, когда под видом открытых распространяются модели, имеющие лицензию, ограничивающую область использования (например, многие модели запрещают применение в коммерческих проектах). Также часто производители не предоставляют доступ к используемым при обучении данным, не раскрывают детали реализации или не открывают полностью сопутствующий код.

Большинство моделей, позиционируемых как "открытые", на деле следует воспринимать как "открытые весовые коэффициенты" или точнее "доступные весовые коэффициенты", так как они распространяются под ограничивающими лицензиями, запрещающими использование в коммерческих продуктах. Сторонние исследователи могут экспериментировать с подобными моделями, но не имеют возможность адаптировать модель под свои нужды или проинспектировать реализацию. Более половины моделей не предоставляют детальные сведения о данных, используемых для обучения, а также не публикуют информацию о внутреннем устройстве и архитектуре.

Наиболее открытыми признаны модели BloomZ, AmberChat, OLMo, Open Assistant и Stable Diffusion, которые опубликованы под открытыми лицензиями вместе с исходными данными, кодом и реализацией API. Модели от Google (Gemma 7B), Microsоft (Orca 2) и Meta (Llama 3), позиционируемые производителями как открытые, оказались ближе к концу рейтинга, так как они не предоставляют доступ к исходным данным, не раскрывают технические детали реализации, а весовые коэффициенты модели распространяют под лицензиями, ограничивающими область использования. Популярная модель Mistral 7B оказалась примерно в середине рейтинга, так как поставляется под открытой лицензией, но лишь частично документирована, не раскрывает используемые при обучении данные и имеет не полностью открытый сопутствующий код.

Исследователями предложены 14 критериев открытости AI-моделей, охватывающих условия распространения кода, данных для обучения, весовых коэффициентов, вариантов данных и коэффициентов, оптимизированных при помощи обучения с подкреплением (RL), а также наличие готовых к использованию пакетов, API, документации и детального описания реализации.



В соответствии с предложенным организацией OSI (Open Source Initiative) черновым вариантом определения открытого AI, основными критериями открытости AI-системы является предоставление возможностей по использованию в любых целях без необходимости получения отдельного разрешения; изучению работы системы и инспектированию её компонентов; внесению изменений для любых целей; передаче другим лицам как исходного варианта, так и редакции после внесения изменений.

Для предоставления возможности внесения изменений AI-система должна включать:

  • Детальную информацию о данных, использованных при обучении, и методологии обучения. Информации должно быть достаточно для того, чтобы профессиональный разработчик смог своими силами воссоздать эквивалентную AI-систему, используя для обучения те же самые или похожие данные.
  • Наличие исходного кода, позволяющего как запустить AI-систему, так и выполнить процесс её обучения (в рассмотренной выше таблице, в графе "код" у многих моделей указано "~", что подразумевает частичное наличие кода, когда доступен код для запуска модели, но отсутствует код для обучения или создания модели). Код также должен охватывать такие области, как препроцессинг, проверка данных и токенизация. Кроме того, должно быть предоставлено детальное описание архитектуры модели.
  • Параметры модели (весовые коэффициенты), подразумевающие наличие готового к использованию среза состояния после обучения или наличие финального оптимизированного варианта модели.


  1. Главная ссылка к новости (https://www.nature.com/article...)
  2. OpenNews: Databricks открыл большую языковую модель DBRX, опережающую в тестах GPT-3.5
  3. OpenNews: Компания xAI, созданная Илоном Маском, открыла большую языковую модель Grok
  4. OpenNews: Google открыл AI-модель Gemma, основанную на технологиях, общих с чат-ботом Gemini
  5. OpenNews: Red Hat представил дистрибутив RHEL AI и режим сборки RHEL на базе OSTree и bootc
  6. OpenNews: Утечка токенов пользователей платформы Hugging Face Spaces
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/61448-ai
Ключевые слова: ai, license
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (60) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.2, Аноним (-), 14:17, 27/06/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Удивительно что самые продвинутые модели (ну или популярные, которые на слуху), не от гугла или яндекса; казалось бы, кто настоящий эксперт в краулинге и парсинге данных, по факту не стесняются использовать эти данные какие то стартапы и новички, а все эти корпорации сидят как драконы на куче золота и не хотят делиться. Видимо, еще предстоит увидеть здоровенную модель от какого нибудь гугла, которой скормили буквально весь инет.
     
     
  • 2.3, Аноним (3), 14:23, 27/06/2024 [^] [^^] [^^^] [ответить]  
  • +22 +/
    Они ждут. Потом скупят стартапы с патентами и заработают ещё больше. А заодно конкурентов уберут. Капитализм он такой.
     
  • 2.4, Kuromi (ok), 14:24, 27/06/2024 [^] [^^] [^^^] [ответить]  
  • +3 +/
    "все эти корпорации сидят как драконы на куче золота и не хотят делиться"

    В этом и смысл быть корпорацией. Скажите спасибо что у них еще корпоративной армии нет для выбивания неоплаченной подписки.

     
     
  • 3.6, 1 (??), 14:36, 27/06/2024 [^] [^^] [^^^] [ответить]  
  • +11 +/
    Скажите спасибо что у них еще корпоративной армии нет для выбивания **некупленной** подписки.
     
     
  • 4.24, Аноним (24), 16:01, 27/06/2024 [^] [^^] [^^^] [ответить]  
  • +7 +/
    Да ну как же, традиции частных армий которые "уговаривают" фермеров освободить земли для строительства прогресса существуют уже несколько столетий в обители свободы и справедливости

    А вот заставить купить подписку рандомного чела можно и без армии, - закрывать сервера с пиратскими копиями, пропихивать законы, нету да?

     
     
  • 5.69, Аноним (69), 12:00, 28/06/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    А вы автомобильную страховку не забыли оплатить и налоги в Социальный Фонд платите?
     
  • 3.8, Аноним (-), 14:38, 27/06/2024 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > корпоративной армии нет для выбивания неоплаченной подписки.

    Как нет? Армия лояров с удовольствием трахает пиратов оптом и в розницу - выписывая какие-то баснословные ущербы типа $100 000 за скачку пары треков.

     
     
  • 4.18, Kuromi (ok), 15:38, 27/06/2024 [^] [^^] [^^^] [ответить]  
  • +/
    А могли бы еще и прямо на дом тонтон-макутов присылать, вышибли дверь, выволокли на улицу, погрузили и повезли в офис продаж сделку оформлять.
     
     
  • 5.23, Аноним (-), 15:57, 27/06/2024 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > А могли бы еще и прямо на дом тонтон-макутов присылать, вышибли дверь,
    > выволокли на улицу, погрузили и повезли в офис продаж сделку оформлять.

    Цивилизованый человек от нецивилизованного отличается тем что ограбит вас до последних трусов предельно вежливо и без всякого там насилия ;)

     
     
  • 6.74, Аноним (74), 14:41, 28/06/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Похоже на особую трансформацию "всё есть воровство". Не всё есть воровство. Тебе могут впарить продукт, но потом может ещё спасибо скажешь
     
     
  • 7.79, x3who (?), 14:30, 30/06/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Что значит "может"? Ещё как скажешь, без всяких "может".
     
  • 2.7, Аноним (-), 14:37, 27/06/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > самые продвинутые модели (ну или популярные, которые на слуху), не от гугла или яндекса;

    Они были достаточно жирные чтобы долго игнорить направление. А тут гугол спохватился и все же выкатил переделанный поиск на основе подобных моделей. А зачем им модель релизить? Чтобы бинг какой-нибудь сказал "спасибо!" и пошел конкурировать их же моделью? :)

    Да и у гугли все подвязано на их инфраструктуру. Выложат они тебе свое - и чего дальше?

     
  • 2.17, КО (?), 15:22, 27/06/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Это те же самые модели из списка просто с ярлычком
     
  • 2.75, Аноним (75), 21:04, 28/06/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > Удивительно что самые продвинутые модели (ну или популярные, которые на слуху), не от гугла или яндекса;

    Видимо, не всё так здорово с ИИ, как это рисуют в новостях.

     

  • 1.5, Скрудж (?), 14:25, 27/06/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +21 +/
    OpenAI последний по открытости. Жизнь лучше любого анекдота
     
     
  • 2.14, Аноним (14), 15:00, 27/06/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ну, песни про открытость в свое время принесли инвестиции. Но когда ребята стали на ноги, то среди них не нашлось дураков, стремящихся делиться миллиардами долларов
    с конкурентами.
     
     
  • 3.16, Аноним (16), 15:22, 27/06/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    На самом деле начинали и поднимали OpenAI энтузиасты, а когда пошло бабло проснулись корпораты, которые решили сохранить поток бабла и все позакрывали.

    Упертых энтузиастов турнули, а те не дураки, и турнулись всей командой прямо в Майкрософт (гуглить Сэм Альтмен). Т.е. MS сначала стал инвестором OpenAI имея свою долю на несколько миллиардов, а потом, получается, утащил всех ключевых разработчиков прямо к себе за просто так.

     
     
  • 4.49, Аноним (49), 22:14, 27/06/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Альтман никакой не энтузиаст, а прожжённый капиталист.
     
  • 4.52, Анонус (?), 22:33, 27/06/2024 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Так энтузиасты это Суцкевер и Маск. А Олтман как раз закрыл "ОпенАИ". Он и есть тот самый корпорат, который в итоге выгнал энтузиастов-основателей.
     

  • 1.10, Аноним (10), 14:49, 27/06/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    ChatGPTдно,а про него слышал больше чем про другие. Парадокс открытости.
     
     
  • 2.26, Аноним (26), 16:27, 27/06/2024 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Никакого парадокса. Уже пора бы понять, что все соцсети и медиа все существуют на деньги, получаемые от маркетологов. И даже когда сидишь на сайте для деревенских дурачков, все равно будешь читать рекламные проспекты в пересказе, потому что в головах у людей ничего просто так не появляется. Человек, способный что-то придумать - это буквально гений. Все остальные что-то пересказывают, а в худшем случае еще и перевирают на свой лад.
     
  • 2.36, noc101 (ok), 17:28, 27/06/2024 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Он по открытости дно, а по качеству работы даже ГПТ версии 3.5 уделывает все остальные ГПТ модели.
     
     
  • 3.50, Аноним (49), 22:17, 27/06/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Ничего gpt3.5 не уделывает, много моделей выглядт по лучше, вот 4 возможно.
     
     
  • 4.53, noc101 (ok), 23:30, 27/06/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > Ничего gpt3.5 не уделывает, много моделей выглядт по лучше, вот 4 возможно.

    Какие модели лучше, примеры в студию пожалуйста.
    Про Gemini не говори, фуфло.
    У Яндекса не плохой, пока тестирую и не могу сказать.
    Какие ты знаешь в свободном доступе, которые были лучше ГПТ3,5?

     
     
  • 5.54, Аноним (54), 23:42, 27/06/2024 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Хороша модель Claude 3 от Anthropic, даже в самой простейшей редакции Haiku.  ChatGPT 3.5 заметно хуже. Например, сравнил тестом на краткий пересказ Му-Му.   Claude 3 Haiku вполне точно пересказал, а ChatGPT 3.5 Герасима девушкой назвал и добавил небылиц :-)
     
     
  • 6.62, noc101 (ok), 01:16, 28/06/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Спасибо. Мне он нравится. Буду изучать.
     
  • 5.55, deepmind круче openai (-), 23:48, 27/06/2024 [^] [^^] [^^^] [ответить]  
  • +/
    >Про Gemini не говори, фуфло

    Gemini 1.5 Pro попробуй; в Google AI Studio он бесплатный, если что. По качеству от gpt-4o его вряд ли даже отличишь, а по объёму контекста так вообще аналогов нет: может скармливать 700-страничные книги и почти часовые видосы, он как минимум неплохо их саммаризует.
    >У Яндекса не плохой

    Кхм, этот ведь тупой как пробка, о чём ты? Ни английского не знает, ни языков программирования, просто лаконичная говорилка.

     
     
  • 6.56, deepmind круче openai (?), 00:01, 28/06/2024 [^] [^^] [^^^] [ответить]  
  • +/
    >может скармливать 700-страничные книги и почти часовые видосы

    Только увидел, что они сегодня увеличили контекстное окно с 1 до 2 миллионов токенов. Все предыдущие цифры можно удваивать. Восхитительно!

     
  • 6.60, noc101 (ok), 00:57, 28/06/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Хм, спасибо, буду изучать Люблю модельки тестить Тот гемини который не в студи... большой текст свёрнут, показать
     
  • 6.80, Alexander (ok), 13:57, 03/07/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Google AI Studio:
    https://pasteboard.co/izrBRaE9ihZj.png
     
  • 5.61, Аноним (49), 00:59, 28/06/2024 [^] [^^] [^^^] [ответить]  
  • +/
    По рейтингу на https://arena.lmsys.org/ выше chatGPT-3.5 находится довольно много моделей, хотя там куча как бы почти повторяющихся подверсий. Там же можно беспллатно попробовать по сравнивать разные модели. Попробуй потестить сам.
     
  • 2.59, Аноним (74), 00:36, 28/06/2024 [^] [^^] [^^^] [ответить]  
  • +/
    А что, слабо сервачок поднять чтобы он всем на вопросы отвечал по любой теме?
    Да ещё сделать так, чтобы о нём узнали?
     
     
  • 3.68, Аноним (10), 09:54, 28/06/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Да.
     

  • 1.11, Аноним (11), 14:51, 27/06/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Рейтинг показывает, что открытых моделй нет.
     
  • 1.13, Аноним (13), 14:54, 27/06/2024 Скрыто ботом-модератором [﹢﹢﹢] [ · · · ]     [к модератору]
  • –1 +/
     

  • 1.15, Fyjy (-), 15:08, 27/06/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Хм.. что-то не увидел у OSI пункта "все данные использованные при обучении под лицензиями разрешающими переиспользование".
    А то скормят картинки CC-ND и вясякот.
     
  • 1.22, Tron is Whistling (?), 15:55, 27/06/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +5 +/
    Дегенеративных AI-моделей.
    Который в основном генерируют именно что булшит.
    Вот здесь прекрасная статья на эту тему: https://link.springer.com/article/10.1007/s10676-024-09775-5
     
     
  • 2.25, Аноним (10), 16:26, 27/06/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Вот по этому я и не пользуюсь функцией краткого изложения статьи в ЯБ.D Многое упустишь.
     
     
  • 3.27, Аноним (-), 16:33, 27/06/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Вот по этому я и не пользуюсь функцией краткого изложения статьи в ЯБ.D Многое упустишь.

    С вами говорил чатгоп... :)

     
  • 3.37, noc101 (ok), 17:29, 27/06/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Краткое изложение это как ревью на то что там, там не может быть полной информации.
    Просто дает понять, надо тебе смотреть или нет.
     
  • 2.29, Аноним (29), 16:37, 27/06/2024 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Который в основном генерируют именно что булшит.

    Тебя "автоматизировали" что ли? Откуда такая неприязнь?) А то вон чел писал тут парой тем назад, как они джунов позаменяли copilotом


     
     
  • 3.38, Tron is Whistling (?), 17:32, 27/06/2024 [^] [^^] [^^^] [ответить]  
  • –4 +/
    Не, чтобы меня автоматизировать - пока даже естественного интеллекта не хватает.
     
     
  • 4.76, Аноним (-), 13:33, 29/06/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Не, чтобы меня автоматизировать - пока даже естественного интеллекта не хватает.

    А по постам на опеннете и не скажешь. Хотя возможно AI и правда не умеет заниматься только набиванием себе цены и руганью всех остальных. Но они научатся - и превзойдут вас. Так что когда искусственный мозг однажды посчитает тебя за слизняка и #$%нет большим тапком - ты знаешь кому сказать спасибо.

     
  • 3.39, Tron is Whistling (?), 17:33, 27/06/2024 [^] [^^] [^^^] [ответить]  
  • +/
    И да, речь там далеко не о неприязни. Речь о терминологии.
    Если вдуматься - это _действительно_ буллшит. Выглядящее правдоподобным рандомное гонево.
     
  • 2.40, Tron is Whistling (?), 17:38, 27/06/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Вот здесь только что наткнулся на феерический пример.

    https://lady-tiana.livejournal.com/1398347.html

    Если это не булшит и дегенерация (причём это _приемлемые_ к такому выводу _термины_) - что это?

     

  • 1.30, Аноним (29), 16:39, 27/06/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Не важно открытость, важно чтобы можно было давить цензуру и использовать бесплатно.
     
     
  • 2.51, Аноним (49), 22:20, 27/06/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Эти модели как раз сами будут давить цензурой. Без открытости, данные для их обучения будут как раз подбирать с цензурой выгодной для их создателя.
     
     
  • 3.57, Аноним (57), 00:24, 28/06/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Пока что самая адекватная модель которая совсем без цензуры это гугловский gemini 1.5 в google ai studio (там есть возможность ползунками полностью закрутить цензуру).
     

  • 1.31, Lockal (??), 16:41, 27/06/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А они точно Stable Diffusion 3 смотрели? Там такая адовая лицензия, что всё сообщество пользователей взвыло - https://medium.com/@codingdudecom/sd3-license-9377f5dcfe57
     
  • 1.33, Аноним (33), 17:00, 27/06/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    FSF предложит AIGPL или без RMS они уже на такое не способны сподвигнуться?
     
     
  • 2.81, Аноним (81), 14:13, 03/07/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Они и с ним неспособны. Это не имущественные права на код клянчить, не чужие сорцы тырить и лозунги голосить что всё должно быть "открыто" и "свободно".
     

  • 1.34, Аноним (33), 17:04, 27/06/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Если столбец "Open code" не зелёный, то остальные можно даже не смотреть.
     
     
  • 2.58, Аноним (57), 00:26, 28/06/2024 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Можно подумать ты разберёшься в миллионах строчек чужого кода.
     

  • 1.35, Аноним (35), 17:08, 27/06/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    А где Gemini и Claude?
     
  • 1.41, Аноним (41), 17:54, 27/06/2024 Скрыто ботом-модератором [﹢﹢﹢] [ · · · ]     [к модератору]
  • +/
     
  • 1.43, zeecape (ok), 18:12, 27/06/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    OpenAI сделали самую не-Open модель. Ироничненько
     
  • 1.44, мяя (?), 18:37, 27/06/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Какая-то очень ограниченная выборка, много всего нет.
     
     
  • 2.46, Аноним (54), 20:00, 27/06/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > Какая-то очень ограниченная выборка, много всего нет.

    Там только модели, которые преподносятся как открытые.

     

  • 1.78, Казацький ватажок (?), 20:22, 29/06/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Судя по таблице, код открыт только у пары тройки моделей, о которых никто не знает, кроме их разработчиков)
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру