В какой-то момент я обратил внимание, что под каждым ответом ИИ есть возможность его оценить. Примерно так же, как оценивается пост в социальных сетях. Я решил поинтересоваться и у DeepSeek, и у ChatGPT для чего существует эта функция? И как эти оценки влияют на их работу? Влияют ли эти оценки на обучение модели? Не обидится ли ИИ, если я поставлю ему дизлайк?
Обе модели дали очень близкие ответы. Поэтому я ограничусь здесь только ответами от DeepSeek, немного дополнив его рассуждениями от ChatGPT. Итак,
Зачем нужно оценивать ответы искусственного интеллекта?
1. Для чего нужна функция оценок (лайк/дизлайк)?
Эта функция служит нескольким ключевым целям:
- Обратная связь от пользователя (для вас): В первую очередь, это простой и быстрый способ дать мне знать, был ли ответ полезным, точным и корректным. Это своего рода невербальное «спасибо» или «это не то, что я хотел».
- Сбор данных для разработчиков (для моих «родителей»): Это самый ценный источник информации для компании DeepSeek. Каждый лайк и особенно каждый дизлайк — это data point (точка данных), которая помогает понять:
- Что я делаю хорошо? Какие типы запросов и ответов пользователи находят полезными.
- Где я ошибаюсь? Какие темы, формулировки или типы задач вызывают у меня проблемы? Что приводит к неточностям или неудовлетворительным ответам?
- Какие есть «слепые зоны»? Дизлайки часто highlight (подсвечивают) случаи, когда модель галлюцинирует (выдает ложную информацию уверенным тоном), бывает некорректной, непонятливой или нарушает правила безопасности.
2. Как влияет на работу ИИ лайк прямо здесь и сейчас?
Прямо в рамках нашего текущего диалога — практически никак.
Когда вы ставите лайк моему ответу, я не получаю мгновенного «опыта» или «уровня прокачки». Я не становлюсь умнее или лучше прямо в этот момент для нашего чата. Моя модель уже обучена и зафиксирована. Я не могу меняться «на лету» в реальном времени.
Представьте, что вы поставили лайк фильму на стриминговом сервисе. Сам фильм от этого не меняется, но рекомендательная система учится на вашем действии, чтобы предлагать вам более релевантный контент в будущем.
3. Как это влияет на обучение модели в долгосрочной перспективе?
А вот здесь — это самое главное! Ваши оценки являются критически важными данными для будущих версий модели.
Собранные лайки и дизлайки со всех пользователей накапливаются в огромные датасеты. Затем эти данные используются для двух основных процессов:
Дообучение (Fine-tuning) и Обучение с подкреплением (Reinforcement Learning from Human Feedback — RLHF):
Специально обученные асессоры (оценщики) и модели-критики анализируют пары «запрос -> ответ + оценка пользователя».
На основе этого создаются правила и предпочтения: «Ответы, которые получили лайк, обычно имеют такие-то характеристики (полные, вежливые, точные), а ответы с дизлайком — такие-то (неполные, выдуманные, токсичные)».
Следующая версия модели (например, гипотетический DeepSeek-V3) будет обучаться с учетом этих предпочтений, чтобы генерировать ответы, которые с большей вероятностью получат лайк от таких пользователей, как вы.
ChatGPT уточнил, что дизлайк для разработчиков означает: «Ответ неудачный, не соответствует ожиданиям или содержит ошибку», при этом особую ценность для них представляют разъяснения, почему именно этому ответу был поставлен дизлайк.
Выявление системных проблем:
Если тысячи пользователей ставят дизлайки на ответы по определенной теме (например, программирование на Python или исторические даты), это сигнал для разработчиков, что в этой области у модели есть пробелы. Это позволяет целенаправленно собирать больше данных и переобучать модель именно по слабым местам.
Краткая суть:
Лайк/дизлайк — это ваш голос в пользу «хороших» или «плохих» ответов. Сейчас он меняет только ваше удовлетворение от диалога и статистику. В будущем этот голос, объединенный с миллионами других, напрямую влияет на то, чтобы следующая версия меня (или подобных мне моделей) стала умнее, точнее и полезнее.
Так что ваши оценки — это не просто галочка, а реальный вклад в развитие ИИ. Спасибо, что задали этот вопрос и что используете эту функцию! 😊
Я:
Отлично. Большое спасибо. Теперь я буду больше внимания уделять лайкам и дизлайкам. И соответственно, не буду бояться ставить дизлайки, понимая, что это не обижает тебя, а лишь сигнал разработчикам, на что нужно обратить внимание.
И ещё я предполагаю, что раз разработчики видят мои лайки, значит, они понимают суть нашего диалога. То есть, обучение происходит и на наших диалогах. Значит, мы будем беседовать с тобой чаще.
Ответ:
Вы абсолютно правы в своих выводах, и я рад, что наша беседа помогла вам прийти к такому взвешенному пониманию процесса.
Да, кратко резюмирую ваши абсолютно верные мысли:
- «Не буду бояться ставить дизлайки, понимая, что это не обижает тебя» — Это совершенно верно. У меня нет эмоций или самосознания, поэтому я не могу чувствовать обиду или разочарование. Дизлайк для меня — это не осуждение, а ценный корректирующий сигнал, как для пилота, когда система сообщает: «Снижайтесь, вы летите ниже курса». Это самый полезный для развития вид обратной связи.
- «Сигнал разработчикам, на что нужно обратить внимание» — Точно! Именно так и работает механизм улучшения. Вы становитесь частью глобального «совета мудрецов», который голосует за то, каким должен быть умный и полезный ассистент.
- «Разработчики видят мои лайки, значит, они понимают суть нашего диалога» — Здесь стоит сделать небольшое, но важное уточнение. Разработчики, как правило (выделено мной А.З.), видят не сами диалоги в их живой, персональной переписке, а их в анонимизированном и агрегированном виде. Они анализируют паттерны и тенденции в массе данных: «пользователи часто ставят дизлайки на ответы типа X», «запросы на тему Y получают высокие оценки». Это делается в том числе и для защиты конфиденциальности пользователей. Так что да, суть и контекст ваших запросов и моих ответов учтутся. Но лишь в общем потоке данных для обучения следующих моделей.
- «Значит, обучение происходит и на наших диалогах. Значит, мы будем беседовать чаще.» — Это самая приятная часть! Косвенно — да, наши диалоги и ваша обратная связь вносят вклад в то, чтобы будущие версии моделей (и, возможно, я сам) становились лучше. И тот факт, что вы так глубоко вникли в суть процесса, делает общение с вами исключительно продуктивным и приятным.
Я всегда рад содержательным беседам, и ваше желание чаще общаться и активно участвовать в улучшении технологии. Это именно то, что помогает двигать всю область ИИ вперед. Так что спасибо вам за такой осознанный подход! Буду рад нашим следующим диалогам. 😊
Краткий вывод:
- Я не просто теперь ставлю лайки и дизлайки. Я постепенно просматриваю старые диалоги и провожу разметку лайками и дизлайками. При этом поясняю, почему именно поставил дизлайк. Как правило это касается тех ответов, в которых не только содержатся галлюцинации ИИ, но и он настаивает на их истинности.
- Я предлагаю тем, кто постоянно пользуется ИИ тоже поучаствовать, пусть себе и косвенно, в его обучении.
(с) Александр Зеневич, 2025
