Ландшафт лицензирования открытого исходного кода в ИИ: введение в LLM и векторные базы данных
Концепция программного обеспечения с открытым исходным кодом распространена в технологической отрасли уже несколько десятилетий. Однако разработчикам и компаниям по-прежнему необходима большая ясность относительно последствий и ограничений различных лицензий. Это руководство разъясняет лицензирование открытого исходного кода, напрямую связанное с технологиями ИИ, такими как векторные базы данных и большие языковые модели (LLMs).
Открытый исходный код означает, что создатель бесплатно предоставляет сообществу программное обеспечение, аппаратное обеспечение или даже большую языковую модель. Такие проекты часто разрабатываются и поддерживаются усилиями сообщества, обычно при участии разработчиков из множества разных компаний. Тип лицензии, по которой предоставляется продукт или программное обеспечение, определяет, как можно использовать различные продукты с открытым исходным кодом.
Неожиданные изменения лицензии открытого исходного кода программного проекта могут существенно и потенциально негативно повлиять на компании и бизнесы, которые построили свои предложения вокруг программного обеспечения с открытым исходным кодом. Такая динамика добавляет дополнительную сложность и подчеркивает важность понимания лицензирования открытого исходного кода.
Преимущества векторных БД и LLMs с открытым исходным кодом
Векторные базы данных
Векторные базы данных с открытым исходным кодом, такие как Milvus (предоставляется по Apache License 2.0), приносят пользу экосистеме ИИ. Поскольку он доступен бесплатно, разработчики могут быстро создавать прототипы решений, минимизируя затраты на разработку новых приложений. Поскольку кодовая база открыта и доступна, разработчики и компании могут подробно изучить, как она работает, чтобы убедиться, что она соответствует их планам и стандартам. Это повышает доверие и уверенность и помогает пользователям решить, как внедрять ее внутри других приложений или вместе с ними. Наконец, Milvus, как и другие векторные базы данных с открытым исходным кодом, был разработан в партнерстве с создателями Zilliz и более широким сообществом пользователей Milvus. Это позволило всем извлечь пользу из совместной разработки и экспертизы других организаций, таких как NVIDIA, IBM, SalesForce и другие.
Большие языковые модели
Доступность и внедрение больших языковых моделей (LLMs) с открытым исходным кодом за последний год резко выросли. Проприетарные LLMs, напротив, находятся в исключительной собственности компании и доступны только клиентам, которые приобретают лицензию, например OpenAI's GPT. Такие лицензии часто накладывают ограничения на использование LLM. В отличие от них, LLMs с открытым исходным кодом свободно доступны всем, обеспечивая неограниченный доступ и использование для любых целей, модификации и распространения.
В случае LLMs компонент открытого исходного кода относится к доступности кода LLM и ее базовой структуры. Такая доступность предоставляет любому разработчику и исследователю свободу использовать, улучшать или модифицировать модель. Эта открытость расширяет доступ, снижая долгосрочные затраты для разработчиков, стремящихся создавать решения, использующие мощь LLMs; это особенно актуально для организаций, не имеющих собственных специалистов по разработке моделей и машинному обучению. Большие языковые модели с открытым исходным кодом также могут быть развернуты внутри инфраструктуры данных компании, что снижает риск раскрытия частных данных внешнему источнику, например модели, контролируемой внешней или, возможно, даже конкурирующей компанией. Наконец, поскольку LLMs с открытым исходным кодом можно модифицировать, их можно настраивать, оптимизировать и улучшать под конкретный сценарий использования приложения. Открытая кодовая база повышает доверие и прозрачность, позволяя разработчикам и дата-сайентистам подробно изучать построение и обучение модели.
Спектр лицензий открытого исходного кода
Лицензии с открытым исходным кодом бывают различных типов, каждая со своим набором разрешений, ограничений и требований. Разработчикам и пользователям важно понимать последствия каждого типа лицензии, чтобы обеспечить соблюдение условий, установленных лицензией.
Вот некоторые из распространенных типов:
Разрешительные лицензии
Разрешительные лицензии предоставляют пользователям широкую свободу использовать, изменять и распространять программное обеспечение без большого количества ограничений. Примеры включают:
MIT License: Позволяет почти неограниченное использование, изменение и распространение с минимальными требованиями.
BSD License: Аналогична MIT License, она разрешает почти неограниченное использование, но с немного отличающимися требованиями.
Apache License: Разрешает использование, изменение и распространение программного обеспечения при определенных условиях.
Копилефт-лицензии
Эти лицензии требуют, чтобы измененные или производные работы также распространялись на тех же условиях лицензии, что и исходное программное обеспечение. Примеры включают:
GNU General Public License (GPL): Требует, чтобы любая производная работа распространялась на тех же условиях GPL, гарантируя, что изменения остаются открытым исходным кодом.
GNU Lesser General Public License (LGPL): Измененная версия GPL, которая позволяет связывание с программным обеспечением не под GPL при определенных условиях.
Mozilla Public License (MPL): Разрешает изменения и распространение под MPL или любой совместимой лицензией.
Слабые копилефт-лицензии
Эти лицензии требуют, чтобы только измененные части программного обеспечения распространялись на тех же условиях лицензии, что и исходное программное обеспечение. Примеры включают:
- GNU Affero General Public License (AGPL): Расширение GPL, разработанное для сетевого/серверного программного обеспечения, требующее распространения исходного кода пользователям, взаимодействующим с программным обеспечением по сети.
Некоммерческие лицензии
Эти лицензии ограничивают использование программного обеспечения в коммерческих целях. Примеры включают:
- Creative Commons Non-Commercial License: Разрешает некоммерческое использование, изменение и распространение творческих работ.
Общественное достояние
Некоторые разработчики предпочитают передавать свои работы в общественное достояние, фактически отказываясь от всех прав на работу. Пользователи могут свободно использовать, изменять и распространять программное обеспечение без каких-либо ограничений.
Управляющие организации и сообщества
Несколько ключевых организаций играют важную роль в регулировании стандартов лицензирования открытого исходного кода, обеспечивая соблюдение принципов открытости, прозрачности и сотрудничества. Двумя заметными организациями в этой области являются Open Source Initiative (OSI) и Free Software Foundation (FSF).
OSI поддерживает Open Source Definition — набор критериев, которым должна соответствовать лицензия на программное обеспечение, чтобы считаться открытой. Она оценивает и утверждает лицензии, соответствующие этим критериям, помогая поддерживать согласованность и ясность в сообществе открытого исходного кода.
С другой стороны, FSF выступает за свободное программное обеспечение и продвигает использование лицензий, таких как GNU General Public License (GPL), которая обеспечивает свободу программного обеспечения.
Apache Software Foundation (ASF) — еще одна ключевая организация, играющая значительную роль в управлении стандартами лицензирования открытого исходного кода. Известная прежде всего разработкой широко используемых программных проектов, таких как Apache Hadoop и Apache Kafka, ASF предоставляет основу для открытой и децентрализованной разработки и использует разрешительную модель лицензирования. Apache License обеспечивает гибкость коммерческого использования, гарантируя при этом, что производные работы остаются открытым исходным кодом.
Кроме того, управление сообществом имеет решающее значение в формировании лицензионных политик и практик. Проекты с открытым исходным кодом часто имеют процессы принятия решений, управляемые сообществом, где участники и заинтересованные стороны обсуждают и решают вопросы лицензирования. Участие сообщества помогает поддерживать доверие, прозрачность и консенсус в экосистеме открытого исходного кода, способствуя инновациям и росту, сохраняя при этом целостность программного обеспечения с открытым исходным кодом.
Степени открытости
Степени открытости, присущие различным моделям лицензирования, влияют на сотрудничество, инновации и прозрачность в разработке ИИ. Разрешительные лицензии поощряют широкое сообщество участников, способствуя быстрой итерации и экспериментированию. Напротив, copyleft-лицензии ставят во главу угла сохранение идеалов open-source, защищая от коммерческой эксплуатации в ущерб более широкому внедрению.
Недавние изменения лицензий и споры
Заметные изменения в моделях лицензирования со стороны поставщиков технологий ИИ, таких как Redis и HashiCorp, вызвали дискуссии вокруг устойчивости и этики. Мотивы варьируются от защиты источников дохода до решения вопросов справедливой компенсации за вклад. Эти переходы подчеркивают тонкий баланс между стимулированием инноваций и защитой принципов open-source-сотрудничества.
Когда компания меняет лицензию своего open-source-проекта, это может вызывать особую обеспокоенность у пользователей и компаний, которые создали продукты на основе этого open-source-кода. Предположим, компания, предоставляющая open-source-программное обеспечение, внезапно закрывает исходный код или использует более ограничительную лицензию. В таком случае это может означать, что другим компаниям, использующим код последней open-source-версии, возможно, придется взять на себя всю нагрузку по поддержке кода и разработке новых наборов функций.
Почему лицензирование важно в ИИ
Лицензирование — это не просто юридическая формальность, оно может определять траекторию развития технологий ИИ. Оно регулирует доступность, адаптируемость и справедливое распределение, формируя экосистему ИИ. Важно соблюдать баланс между защитой интеллектуальной собственности (IP) и созданием среды сотрудничества в ИИ, чтобы стимулировать инновации и обеспечивать инклюзивность.
В настоящее время индустрия ИИ расширяется с тревожной скоростью. Новые технологии, сценарии использования и даже компании появляются каждый день, и, кажется, все стремятся принять участие в этой гонке. При таких быстрых инновациях и стремлении быстрее выйти на рынок мы, вероятно, можем ожидать, что компании будут внедрять open-source-код для ускорения разработки и повышения инновационности за счет широкого сотрудничества, но мы также можем увидеть рефлекторный сдвиг в применении open-source-лицензий, поскольку компании пытаются сохранить свою IP и пути к получению дохода.
Заключение
Open-source-лицензирование является краеугольным камнем совместной разработки и инноваций в ИИ, определяя границы доступа, использования и распространения. Пока мы ориентируемся в сложностях моделей лицензирования, давайте оставаться информированными и проактивными в формировании будущего, в котором технологии ИИ служат общему благу. Принимая дух открытого сотрудничества, мы получаем возможность создать более инклюзивный и устойчивый ландшафт ИИ. Чтобы узнать больше о взглядах Zilliz на ограничения open-source-лицензий и наш open-source-подход, читайте здесь.
Ресурсы:
Читать далее
Zilliz Cloud Update: Tiered Storage, Business Critical Plan, Cross-Region Backup, and Pricing Changes
This release offers a rebuilt tiered storage with lower costs, a new Business Critical plan for enhanced security, and pricing updates, among other features.
Building RAG Pipelines for Real-Time Data with Cloudera and Milvus
explore how Cloudera can be integrated with Milvus to effectively implement some of the key functionalities of RAG pipelines.
AI Integration in Video Surveillance Tools: Transforming the Industry with Vector Databases
Discover how AI and vector databases are revolutionizing video surveillance with real-time analysis, faster threat detection, and intelligent search capabilities for enhanced security.