Оценка точного объема данных, на которых обучались модели семейства ChatGPT, является нетривиальной задачей, поскольку OpenAI не раскрывает все детали своих проприетарных датасетов, особенно для последних версий. Тем не менее, анализ доступной информации и публикаций позволяет составить достаточно полное представление о масштабах.
Почему важен объем данных для обучения больших языковых моделей (LLM)
Объем и качество обучающих данных — фундаментальные факторы, определяющие производительность больших языковых моделей. Большее количество разнообразных данных позволяет модели лучше улавливать языковые закономерности, семантические связи, факты о мире и стилистические нюансы. Это напрямую влияет на ее способность генерировать осмысленный, релевантный и контекстуально верный текст, а также выполнять сложные задачи, такие как перевод, суммаризация и написание кода. Недостаточный объем данных приводит к ограниченному «кругозору» модели, склонности к повторениям и слабой адаптации к новым темам.
Краткий обзор архитектуры ChatGPT и ее эволюции (GPT-1, GPT-2, GPT-3, GPT-3.5, GPT-4)
Модели GPT (Generative Pre-trained Transformer) развивались итерационно, с каждой версией увеличивая как размер самой модели (количество параметров), так и объем обучающих данных:
GPT-1 (2018): Использовала датасет BookCorpus (около 1 ГБ текста, ~7000 неопубликованных книг). Была прорывом, но возможности были ограничены.
GPT-2 (2019): Обучалась на значительно большем датасете WebText, созданном OpenAI (около 40 ГБ текста), собранном из высококачественных веб-страниц. Продемонстрировала впечатляющие способности к генерации связного текста.
GPT-3 (2020): Ознаменовала скачок в масштабе. Обучалась на сотнях гигабайт текста (~45 ТБ до фильтрации, ~570 ГБ после) из различных источников, включая Common Crawl, WebText2, книги и Википедию. Количество параметров выросло до 175 миллиардов.
GPT-3.5 (Серия моделей, ~2022): Это доработанные версии GPT-3, включая модели code-davinci-002 и text-davinci-002/003, а также модель, лежащую в основе ранних версий ChatGPT. Данные включали тексты и код до конца 2021 года. Ключевым нововведением стало использование обучения с подкреплением на основе обратной связи от человека (RLHF) для улучшения следования инструкциям и безопасности.
GPT-4 (2023): OpenAI не раскрыла точный размер модели или датасета. Заявлено, что он «больше, чем у GPT-3», и включает более актуальные данные, а также был сделан акцент на мультимодальность (хотя изначально доступен только текстовый ввод/вывод). Улучшены возможности решения сложных задач, креативность и точность.
Детализация данных, использованных для обучения ChatGPT
Хотя точные цифры для последних моделей скрыты, мы можем опираться на данные для GPT-3 как на референс и экстраполировать тенденции.
Общий объем данных в текстовых токенах и гигабайтах (GB)
Для GPT-3 использовался датасет объемом примерно 570 ГБ очищенного текста, что эквивалентно сотням миллиардов слов или ~300 миллиардам токенов. Токен – это часть слова, используемая моделью для обработки текста. Для GPT-4 предполагается еще больший объем, возможно, на порядок, хотя подтвержденной информации нет. Важно не только количество, но и разнообразие источников.
Разбивка данных по источникам: Интернет-тексты, книги, код, и т.д.
Обучающий корпус данных GPT-3 имел следующую примерную структуру (по весу в обучении):
Common Crawl: Огромный архив веб-страниц (~60% веса). Прошел значительную фильтрацию для повышения качества.
WebText2: Расширенная и более свежая версия датасета WebText (~22% веса).
Books1 и Books2: Корпуса текстовых данных из книг (~16% веса).
Wikipedia: Английская Википедия (~3% веса).
Модели GPT-3.5 и GPT-4, вероятно, включают значительно больше кода из публичных репозиториев (например, GitHub), а также более свежие веб-данные и специализированные датасеты для улучшения конкретных навыков.
Процесс очистки и фильтрации данных для улучшения качества обучения
Сырые данные из интернета содержат много шума: дубликаты, некачественный контент, спам, ошибки форматирования. OpenAI применяет многоступенчатые процессы очистки и фильтрации:
Дедупликация: Удаление повторяющихся документов или фрагментов текста на разных уровнях.
Фильтрация качества: Использование моделей-классификаторов для отсеивания низкокачественного контента (например, автоматически сгенерированных текстов, списков ссылок, текстов с малым количеством осмысленной информации).
Удаление PII: Применение техник для обнаружения и удаления или маскирования персонально идентифицируемой информации.
Балансировка источников: Корректировка весов различных источников данных в обучающей выборке для достижения нужного баланса знаний и навыков.
Эти шаги критически важны, так как качество данных напрямую влияет на надежность, безопасность и полезность итоговой модели.
Сравнение объемов данных разных версий ChatGPT
Эволюция моделей сопровождалась не только ростом объема данных, но и изменением подходов к их подбору и использованию.
Данные, использованные для обучения GPT-3 и GPT-3.5: сравнение и анализ
Основное различие между GPT-3 и моделями GPT-3.5 (основа раннего ChatGPT) заключается не столько в объеме претрейна (хотя данные для GPT-3.5 были новее, до конца 2021 г.), сколько в дополнительной настройке. GPT-3.5 прошла через Instruction Tuning (обучение на примерах «инструкция-ответ») и RLHF (обучение с подкреплением на основе отзывов людей). Эти этапы использовали значительно меньшие, но тщательно отобранные датасеты, созданные специально для обучения модели следовать инструкциям, отвечать честно и избегать вредного контента.
Особенности обучения ChatGPT-4: новые источники данных и подходы
Для GPT-4 OpenAI заявила об использовании большего и более разнообразного датасета, включая данные, лицензированные у партнеров. Значительные усилия были направлены на повышение безопасности и согласованности ответов еще на этапе претрейна и последующей донастройки. Вероятно, увеличилась доля специализированных данных (научные статьи, профессиональная литература, высококачественный код) и мультимодальных данных (хотя обработка изображений доступна не всем). Процессы RLHF были усовершенствованы с привлечением большего числа людей-оценщиков и экспертов в различных областях.
Влияние объема данных на возможности и ограничения ChatGPT
Масштаб данных — палка о двух концах.
Как объем данных влияет на креативность, точность и связность ответов
Больший объем разнообразных данных позволяет модели:
Улучшить понимание контекста: Модель лучше улавливает нюансы запроса и поддерживает диалог.
Расширить базу знаний: Модель «знает» больше фактов о мире.
Повысить креативность: Способность комбинировать информацию из разных доменов для генерации новых идей.
Улучшить стилистическую гибкость: Возможность генерировать текст в разных стилях и форматах.
Повысить точность в специализированных областях: Например, в программировании, если в данных было достаточно кода.
Ограничения, связанные с большим объемом данных: предвзятость, переобучение и другие проблемы
Предвзятость (Bias): Модель усваивает и может воспроизводить стереотипы, предубеждения и токсичный контент, присутствующие в обучающих данных.
Устаревание знаний: Знания модели ограничены временным срезом обучающих данных.
«Галлюцинации»: Генерация правдоподобной, но фактически неверной информации.
Высокая стоимость обучения: Требуются огромные вычислительные ресурсы.
Проблемы интерпретируемости: Сложно понять, почему модель сгенерировала тот или иной ответ.
Этические аспекты использования больших объемов данных при обучении ИИ
Сбор и использование огромных массивов данных поднимают этические вопросы:
Конфиденциальность: Риск включения персональных данных в обучающие наборы.
Авторское право: Использование защищенных авторским правом материалов без разрешения.
Распространение дезинформации: Возможность использования моделей для генерации фейковых новостей или пропаганды.
Усиление существующего неравенства: Предвзятость в данных может приводить к дискриминационным результатам.
Будущие тенденции и перспективы в использовании данных для обучения языковых моделей
Исследования не стоят на месте, и подходы к работе с данными постоянно развиваются.
Направления исследований по оптимизации объемов данных и улучшению качества обучения
Курирование данных: Разработка более совершенных методов фильтрации, отбора и взвешивания данных для максимизации качества при меньшем объеме.
Активное обучение: Методы, позволяющие модели самой определять, какие данные наиболее полезны для ее дообучения.
Контрастивное обучение: Техники, помогающие модели лучше различать нюансы и избегать распространенных ошибок.
Непрерывное обучение: Подходы, позволяющие моделям безопасно обновлять свои знания без полного переобучения.
Роль синтетических данных в будущем обучении больших языковых моделей
Синтетические данные, сгенерированные другими моделями или по определенным правилам, могут играть все большую роль. Они позволяют:
Создавать данные для редких сценариев или чувствительных тем.
Контролировать качество и предвзятость генерируемых данных.
Дополнять реальные данные там, где их недостаточно.
Однако создание высококачественных и разнообразных синтетических данных само по себе является сложной задачей.
Прогнозы относительно будущих объемов данных, необходимых для создания продвинутых ИИ
Хотя существует тенденция к увеличению объемов данных, фокус смещается с простого наращивания количества на повышение качества и релевантности данных. Возможно, будущие прорывы будут связаны не столько с экспоненциальным ростом терабайт, сколько с более умными способами использования доступной информации, применением синтетических данных и разработкой архитектур, требующих меньшего количества данных для достижения высокой производительности (data-efficient learning).