Иллюстрация: HANAMURAHarutarou/shutterstock
Искусственный интеллект уже вполне освоил популярный принцип «разделяй и властвуй». Персонализация контента быстро переросла безобидную идею создания лояльной аудитории — сегодня нейросети легко радикализуют социум и отучают нас от критического мышления, не брезгуя массовыми вбросами фейков. Как не оказаться в эхо-камере и противостоять ИИ?
Как выявило исследование Social Networks Analysis Center, 68% пользователей социальных сетей сталкиваются с контентом, подтверждающим их взгляды. А по данным Statista, показ персонализированного контента и ленты новостей, сформированных на основе пользовательских предпочтений, увеличивает частоту и продолжительность сессий на медиаплатформах на 35%. Но сегодня ИИ знает о наших предпочтениях чересчур много, и это приводит к неприятным и даже угрожающим эффектам. В цифровой среде гораздо легче найти сторонников общих убеждений и отсеять противников, а алгоритмы ИИ не только найдут нужную информацию, но и подкрепят ее непроверенными фактами, ложными утверждениями и фейковыми видео. Но, отдавая предпочтение информации, близкой по духу, идеологии или уровню знаний, социум сам себя загоняет в страшную ловушку «эхо-камер». И, кажется, что исхода не будет.
Виктор Достов, глава АЭД, консультант ООН и World Bank
БСЭ определяет эхо-камеру как коммуникативную ситуацию, в которой пользователи Сети предпочитают получать информацию исключительно из идеологически близких источников и распространять ее в узких кругах единомышленников. Если в реальной жизни всем нам приходится мириться с разнообразием мнений, то в интернете мы легко фильтруем окружение, а участники взаимно укрепляют убеждения друг друга, создавая замкнутый цикл одобрения. Обычная человеческая склонность — общаться с теми, кто разделяет наши взгляды, — в цифровой среде гипертрофируется.
Содержание:
Закон об алгоритмах: два года спустя
С октября 2023 года в России действует закон, обязывающий онлайн-сервисы раскрывать работу рекомендательных технологий. Цель — сделать их более прозрачными и снизить риски манипулятивного воздействия на пользователя.
Результаты показывают: соцсети анализируют поведение, включая лайки, подписки, историю запросов и геолокацию. Маркетплейсы идут еще дальше — в расчет берется даже глубина цветности экрана. Эти данные используются не только для сортировки товаров или видео, но и для подстройки новостной ленты, поисковой выдачи, музыкальных рекомендаций. Искусственный интеллект учится в режиме реального времени и всё точнее «угадывает», что может понравиться пользователю. Но за удобством и точностью кроется технологический и социальный парадокс. ИИ-алгоритмы имеют серьезный побочный эффект — они ограничивают кругозор. Чем больше нейросеть знает о предпочтениях пользователя, тем уже становится спектр контента, который она предлагает. Так появляются «эхо-камеры» и «информационные пузыри».
Пользователя окружает ограниченный набор информации. Это может происходить из-за личных предпочтений, круга общения или рекомендаций, основанных на искусственном интеллекте. Если он читает статьи исключительно о моде или искусстве, но не интересуется политикой, то алгоритмы будут подкидывать ему материалы о том, как, например, Сальвадор Дали сотрудничал с Эльзой Скиапарелли, а подборка новостей в ленте будет игнорировать финансовые, политические и технологические новости, все больше сужая круг рекомендованного контента.
Александр Никифоров, директор Edtech-компании «Лань»
Эффект эхо-камеры порождает ситуацию, когда человек оказывается в очень узком, однобоком инфопространстве, где чужая точка зрения либо недоступна, либо игнорируются, и есть только одно якобы «единственно правильное» мнение. Мнение, которое на самом деле сформировано ИИ, и усиливается целым «роем» сгенерированных мнений. Это очень сильно снижает критическое мышление, умение мыслить самостоятельно, обращаясь к разным первоисточникам, а ведь это — неотъемлемые качества образованного человека.
Еще в далеком 2001 году американский ученый и политический активист Касс Роберт Санстейн (Cass R. Sunstein) в своей работе «Демократия и Интернет» предупреждал, что Интернет может негативно влиять на совещательную демократию из-за фильтрации информации, сужающей кругозор пользователей и усиливающей групповую поляризацию. В качестве примера он приводит дебаты Буша и Гора во время выборов в США в 2000 году, а также импичмент Клинтона. Именно он первым ввел термин «эхо-камеры» применительно к медиа.
Дезинформация, алгоритмы и вирусные фейки
Системы рекомендаций и модерация контента не только снижают разнообразие информации, но и способствуют усилению когнитивных искажений и поляризации общества. В социальной сети X* (ранее Twitter) (*официально запрещена в РФ) или на YouTube вы легко можете попасть в замкнутый круг контента, подтверждающего только вашу позицию, от выбора ОС до политических убеждений. В итоге пользователь всё реже сталкивается с альтернативными точками зрения.
Проведенное в 2023 году исследование Science Advances (2023) показало, что алгоритм YouTube продвигал теории заговора, включая идею «плоской Земли», пользователям, проявлявшим интерес к псевдонауке. Еще раньше, в 2019 году, к таким же выводам пришли А. Лэндрам, А. Ольшанский и О. Ричардс, авторы научной статьи «Дифференциальная восприимчивость к вводящим в заблуждение аргументам о плоской Земле на YouTube». В ходе эксперимента, в котором участвовали только постоянные пользователи YouTube, ученые обнаружили, что восприимчивость людей к аргументам в пользу плоской Земли, которые продвигал YouTube, повышали низкий уровень научного интеллекта и склонность к конспирологии.
Виктор Достов, Ассоциация «Электронные деньги»
Чем опасны эхо-камеры? Несколько ключевых последствий — поляризация мнений, радикализация взглядов, эрозия критического мышления, иллюзия консенсуса, тревожность, агрессия, апатия и социальная изоляция.
ИИ способен значимо усиливать эффект эхо-камер. Боты-пропагандисты с массивами ИИ-генерированных персонажей создают иллюзию «мнения большинства», распространяя фейки или искусственно раскручивая повестку. Убедительность ИИ уже сейчас превосходит человеческую. ИИ-контент сильнее влияет на эмоции, чем тексты живых авторов. С развитием ИИ риски растут: алгоритмы уже научились эксплуатировать наши когнитивные слабости.
Во время пандемии COVID-19 стало очевидно, что ИИ-алгоритмы могут усиливать распространение ложных данных. Эмоционально заряженные, противоречивые или сенсационные материалы получают приоритет, поскольку вызывают больше откликов — лайков, репостов, просмотров.
В июле 2024 года NewsGuard обнародовал итоги своего исследования, в котором анализировал TikTok-аккаунты, использующие сгенерированное ИИ озвучивание для массового распространения политической дезинформации. 41 TikTok-аккаунт опубликовал 9 784 таких видео. За 458 дней они набрали более 380 млн просмотров. Большинство видео содержали ложные или вводящие в заблуждение утверждения, включая теории заговора и пропаганду. Но рекомендательные алгоритмы платформы активно продвигали эти видео, несмотря на их сомнительный характер.
Этика против бизнес-логики
Где проходит грань между полезной персонализацией и вредной изоляцией? Можно ли бороться с распространением дезинформации? И как отличить фейк, созданный искусственным интеллектом, от реальности? Эти вопросы все чаще звучат в информационном пространстве. Как безболезненно внедрить ИИ в компанию? Арктический интеллект. Зачем СМП свои модели ИИ Нейросети 2025: что выбрать под реальные задачи? Рейтинг IT-World
Алгоритмическое подавление дезинформации всё чаще зависит не столько от технологий, сколько от этических и управленческих решений тех, кто контролирует цифровые пространства. Алгоритмы не понимают, что такое «истина» — они оптимизируют вовлечённость.
Илон Маск, к примеру, после покупки Twitter изменил систему верификации, позволив практически любому желающему приобрести заветную голубую галочку за деньги, в надежде, что это повысит ответственность пользователей за публикуемую информацию.
«В настоящее время существует большая опасность того, что социальные сети расколются на крайне правые и крайне левые эхо-камеры, которые будут порождать ещё больше ненависти и разделять наше общество», — писал Маск в 2022 году.
Как искусственный интеллект стал отягчающим обстоятельством
Однако на практике это решение вызвало неоднозначные последствия: система верификации перестала быть маркером достоверности, а фейковые аккаунты получили больше возможностей для распространения дезинформации.
Маск продолжает экспериментировать с алгоритмами рекомендаций в соцсети X* (*официально запрещена в РФ), постоянно анонсируя внедрение новых изменений. В дополнение к изменениям в системе продвижения контента, он интегрирует в платформу собственный искусственный интеллект Grok, который анализирует поведение пользователей, чтобы предлагать релевантные темы, новости и посты в режиме реального времени. Однако исследования показали, что Grok склонен поддерживать эмоционально заряженные и популярные темы, что усиливает эффект вовлечённости. А тот факт, что Grok использует данные из X* (*официально запрещена в РФ) в качестве основного источника для обучения, по мнению экспертов, может еще больше усиливать эффект эхо-камер. Читайте также
Юрий Хаханов: «ИИ-проектировщик вытеснит человека быстрее, чем вы думаете» Пока чиновники держат «ручник» и с опаской подписываются под цифровыми решениями, девелоперы и проектировщики идут вперед. Директор по акселерации Build UP, руководитель направления «Городские технологии» Фонда «Сколково» Юрий Хаханов рассказывает IT-World, как стартапы действительно внедряются в стройку, почему 3D-печать на обычном бетоне — это технологический прорыв, и как нейросеть помогает понять, куда уходит тепло в пустом офисе.
Meta* (*признана экстремистской и официально запрещена в РФ) тоже проводит эксперименты с выдачей контента пользователям. С 2020 года компания сотрудничает с независимыми фактчекерами, такими как Reuters, AFP, PolitiFact. В результате страницы и аккаунты, регулярно распространяющие фейки, получают ограничение охвата.
Исследование VS эксплуатация
Поиск ИТ-решений для противодействия дезинформации невозможен без понимания принципов машинного обучения. В 2019 году DeepMind, дочерняя компания Google по искусственному интеллекту, провела моделирование пяти различных алгоритмов рекомендаций, которые в разной степени отдавали приоритет точному прогнозированию того, что именно интересует пользователя, по сравнению со случайным продвижением нового контента. Они обнаружили, что алгоритмы, которые в большей степени отдавали приоритет точности, приводили к гораздо более быстрому вырождению системы. Другими словами, лучший способ борьбы с «пузырями фильтров» или «эхо-камерами» — сделать алгоритмы более исследовательскими, показывающими пользователю то, что с меньшей вероятностью вызовет его интерес. Также может помочь расширение общего набора информации, на основе которой составляются рекомендации.
Дмитрий Визгалов, эксперт в области ИБ предприятий и защиты информации
Сегодня уже существуют инструменты, которые помогают расширить информационный кругозор пользователя. К примеру, опции настройки новостных лент, специальные функции для показа альтернативных мнений или алгоритмы, подмешивающие «разнородный» контент. Но на практике большинству пользователей либо не нужны эти модификации, либо у них нет мотивации выходить за пределы привычного «информационного пузыря». Эффективность таких инструментов пока невысока.
Исследователи уже давно осознали противоречие между точным прогнозированием и эффективным исследованием в рекомендательных системах.
Несмотря на то, что некоторые пользователи готовы мириться с более низким уровнем точности, чтобы получать разнообразные рекомендации, у создателей по-прежнему отсутствует стимул разрабатывать алгоритмы таким образом. Почему так происходит?
Во-первых, большинство платформ заточены под метрики: время, проведенное пользователем на сайте или в приложении, клики и просмотры, лайки, комменты и репосты. А исследовательский контент выводит пользователя из его привычек, он непредсказуем, рискован. Меньше точности – больше промахов. Для бизнеса это финансово невыгодно: каждая потерянная минута внимания оборачивается потерей денег.
Во-вторых, диверсификация контента сложна технически, она требует новых архитектур моделей. Это увеличивает затраты на обучение, тестирование и т.д.
В-третьих, нет особых требований государства или внешнего давления со стороны инвесторов, строгие нормы «алгоритмического регулирования» отсутствуют.
Окно в реальный пользовательский мир
В мае этого года исследователи Яндекс открыли доступ к одному из крупнейших рекомендательных датасетов — Yambda. Он содержит 4,79 млрд обезличенных пользовательских действий, собранных за 10 месяцев использования сервиса Яндекс Музыка. Эксперты считают это действительно важным событием для всей индустрии рекомендательных систем, и важным шагом в сторону большей открытости и подотчётности ИИ-систем. Ранее доступ к таким масштабным данным имели только крупные платформы — Яндекс, VK, Spotify, Netflix. Теперь же академические исследователи, независимые разработчики и студенты смогут обучать модели на настоящих, масштабных данных. Это поможет создавать новые алгоритмы, улучшать старые и тестировать идеи, которые иначе были бы невозможны, бороться с замкнутыми алгоритмическими циклами. Для других компаний это мощный стимул раскрыть метрики, делиться данными для открытой науки, тестировать «менее предвзятые» алгоритмы.
Персонализация — зло?
Несмотря на очевидные недостатки рекомендательных алгоритмов, они действительно спасают пользователей от информационной перегрузки. Без персонализации люди тонули бы в море нерелевантных данных. ИИ помогает находить то, что действительно важно. Исследование MIT Sloan Management Review (2021) показало, что персонализированные алгоритмы снижают когнитивную нагрузку, экономя, в среднем, до 13 минут на потребление контента в день благодаря отбору релевантной информации.
Существующие исследования подтверждают, что персонализированные новостные рекомендации могут эффективно повышать вовлечённость пользователей и способствовать более глубокому интересу к важным темам.
Если алгоритмы показывают контент по интересам, люди чаще читают новости и глубже погружаются в темы. В 2023 году Meta* (*признана экстремистской и официально запрещена в РФ) провела исследование, в рамках которого пользователям Facebook* и Instagram* (принадлежат компании Meta, признана экстремистской и официально запрещена в РФ) предоставлялась возможность использовать хронологическую ленту вместо алгоритмической. Аналитики намеревались оценить влияние такого изменения на распространение дезинформации и политическую поляризацию. Результаты показали, что, хотя пользователи стали видеть больше политического и недостоверного контента, это не привело к значительным изменениям в их политических взглядах или уровне поляризации.
Никита Назаров, технический директор HFLabs
Как противодействовать эффекту эхо-камеры? Указывать источник информации. ИИ может ссылаться на конкретные источники, валидировать содержимое веб-страницы, предлагать другие ресурсы с похожими утверждениями. Оценивать достоверность. Модель может указывать, насколько представленное мнение соответствует научному или экспертному консенсусу. Предлагать альтернативные точки зрения, принудительно или по выбору. Использовать детекторы фейков, фильтровать дипфейки и поддельные аудио, чтобы они не использовались при составлении ответа. Но перспективы подхода ограничены: в будущем синтетический контент может стать неотличимым от реального.
Кроме того, есть сферы, где польза персонализации весьма заметна. Например, в образовании: адаптивные обучающие платформы (например, Duolingo, Khan Academy) с помощью ИИ подстраивают сложность материала под уровень ученика, что делает обучение эффективнее. Duolingo использует ИИ-модель Birdbrain, которая отслеживает ошибки и поведение пользователя, чтобы адаптировать упражнения и повысить эффективность обучения.
В сфере медицины персонализированные медицинские рекомендации спасают жизни: алгоритмы анализируют историю болезней и предлагают индивидуальные методы профилактики.
В поисках баланса
Исследования алгоритмов рекомендательных систем не должны ограничиваться симуляциями или офлайн-анализом данных. Человеческое поведение отличается высокой степенью сложности и контекстной чувствительности. С одной стороны, существует эмпирическая база, подтверждающая ценность разнообразия в рекомендациях. С другой — чрезмерное отклонение от ожидаемого или релевантного контента может восприниматься пользователями как потеря доверия к системе, что, в конечном итоге, ведёт к снижению их вовлеченности и отказу от использования платформы.
Александр Никифоров, «Лань»
Минимизировать эффект эхо-камеры можно, обучая пользователей, как отличать фейки, почему важно пользоваться альтернативными источниками информации. Вероятно, эффективным будет комбинирование разных подходов: развитие технических решений и обучающих программ по критическому потреблению контента. Но даже лучшие инструменты не сработают, если пользователь сам хочет оставаться в эхо-камере.
Такие решения, как предоставление пользователям большего контроля над их лентами или изменение алгоритмов платформы для намеренного включения контента с различными точками зрения, дадут пользователям возможность изучать более широкий спектр тем и точек зрения. Читайте также
Оборудование для переговорных: панель или проектор? Выбор между проекторами и интерактивными панелями для переговорных комнат зависит от бюджета, задач и условий использования. Проекторы предлагают мобильность и большие диагонали, а панели — яркость, интерактивность и долговечность. В статье IT-World разбирает плюсы, минусы и конкретные модели обоих вариантов.
Виктор Достов, Ассоциация «Электронные деньги»
Можно ли снизить влияние эхо-камер? Теоретически – да, если сознательно искать альтернативные точки зрения; подвергать сомнению даже «удобные» утверждения; вести диалог с оппонентами; периодический отдыхать от соцсетей. На практике все сложнее. Все эти методы требуют усилий, а современный человек удобство часто предпочитает истине. Единственное эффективное сегодня решение — маркировка ИИ-контента. Но её внедрение идет пока очень медленно.
Будущее рекомендательных систем может пойти по двум сценариям: либо они станут более замкнутыми и манипулятивными, либо, напротив, начнут развиваться в сторону большей открытости, разнообразия и подотчётности. Чтобы реализовать второй путь, необходима совместная работа исследователей, разработчиков, платформ, пользователей и регуляторов. Публикация крупных датасетов, этичные экспериментальные алгоритмы и осознанное отношение к архитектуре ИИ — шаги в верном направлении. Рекомендательные системы могут быть не только удобным интерфейсом для потребления, но и инструментом расширения кругозора — если их проектировать с учётом этого. Вопрос не в том, стоит ли их использовать, а в том, какими мы хотим их видеть.
Журнал IT News
Наталья СоловьеваАналитик, заместитель главного редактора IT News и редактор IT-World
Искусственный интеллект (ИИ, AI)Цензура в ИнтернетеФейкАналитика IT-World