Эффективность ГенИИ в разработке: как измерить на практике

0 0
  • Главная
  • Управление ИТ
  • Эффективность ГенИИ в разработке: как измерить на практике

    изображение создано нейросетью, shutterstock.com

    $10,3 триллиона долларов — именно такой дополнительный экономический эффект, по оценке Accenture, может получить мировая экономика от генеративного искусственного интеллекта. Бизнес уже внедряет ИИ-инструменты, но далеко не всегда может измерить их эффективность. IT-World рассказывает, какие метрики можно для этого использовать и на что важно обратить внимание при внедрении ИИ в процесс разработки ПО.

    Содержание:

    Зачем это все

    Мир движется к формированию новой рабочей среды, где ИИ усиливает возможности специалистов и помогает им работать быстрее и качественнее.

    Для разработки это означает смену самого подхода к организации труда. Уже появляются команды, где живым сотрудникам ассистирует ИИ, а привычная логика «один человек — один участок ответственности» уступает место распределению задач между людьми и цифровыми исполнителями. Это не просто модная концепция, а фундаментальный сдвиг в том, как создаются продукты, оказываются услуги и формируется конкурентоспособность компаний.

    Пилотные проекты запускают банки, металлургические гиганты, ИТ-компании, консалтинг. Однако нередко этот процесс напоминает покупку спортивного автомобиля чтобы ездить по двору на второй передаче. Да, технология модная и перспективная, но подлинный эффект от нее есть только тогда, когда компании знают, зачем ее внедряют, и как правильно измерить отдачу.

    На смену интуиции приходят метрики — и именно вокруг этого строится сегодня грамотная стратегия работы с ГенИИ. Рассмотрим, как измерить эффект от его использования для буста процессов жизненного цикла разработки ПО (процессы SDLC — Software Development Lifecycle).

    От сотрудников к агентам: смена архитектуры штата

    В традиционной модели команды разработки задачи распределены между людьми, каждый из которых отвечает за свой узкий участок. Такая структура удобна в стабильной среде, но плохо масштабируется, когда меняются требования, появляются новые инструменты и растет нагрузка.

    Искусственный интеллект будет локомотивом капитализации в ближайшие годы Новая концепция, к которой рынок постепенно движется, предполагает, что часть работы будут выполнять ИИ-агенты, которые обладают важной особенностью — автономностью. Они могут функционировать независимо, принимать решения без вмешательства человека, а также взаимодействовать с другими системами и людьми. Кроме того, агенты способны прогнозировать события, адаптироваться к изменениям, интегрироваться с внешними API и выстраивать многоэтапные планы действий. Это не абстрактная теория — уже есть конкретные сценарии, описанные в ежегодном Work Trend Index от Microsoft. В них человек перестает быть единственным исполнителем, превращаясь в менеджера цифровых коллег.

    Переход к такой архитектуре происходит поэтапно. Первая фаза — «человек плюс ассистент». У сотрудников есть ИИ-помощник (по сути, это тот или иной вариант большой языковой модели), который ускоряет работу и помогает решать задачи лучше. Но ответственность за результат все еще полностью лежит на человеке. Вторая фаза — смешанные команды, в которых уже именно ИИ-агенты берут на себя выполнение определенных задач под контролем людей. Наконец, следует третья, где человек управляет уже несколькими агентами, задает им направление, а проверка результатов становится точечной.

    Сейчас подавляющее большинство компаний находятся в самом начале первой фазы. Даже там, где уже создают ассистентов под конкретные типы задач, речь идет скорее о точечных решениях. И именно на этом этапе критично выработать культуру взаимодействия с новыми инструментами: умение ставить задачи, делить их на подзадачи, корректировать работу модели и использовать сильные стороны ИИ в связке с человеческими компетенциями.

    Как показывает практика, заменяет человека не машина, а другой человек, который умеет этой машиной управлять.

    От субъективных оценок к объективным данным

    Переход к командам с агентами создает главный управленческий вызов: как доказать, что технология действительно приносит пользу, а не просто украшает процессы? На старте большинство компаний ориентируются на субъективные ощущения — «работает лучше» или «стало быстрее». Но в условиях, когда ГенИИ интегрируется в работу все глубже, этого недостаточно: нужен язык цифр, на котором можно разговаривать с акционерами, топ-менеджерами и заказчиками. Национальная платежная система: от карточного бума к зрелости рынка Аппаратная и облачная АТС. Когда связь локального и виртуального приносит бизнесу пользу Рейтинг российских платформ виртуализации

    В Axenix выделяют три подхода к измерению эффекта от ГенИИ в командах разработки.

    Первый — качественный. Он основан на субъективной оценке сотрудников и сравнении времени выполнения типовых задач «до» и «после». Такой метод полезен в самом начале пути: он позволяет зафиксировать первые улучшения, даже если их невозможно прямо перевести в деньги. Но у него есть очевидные минусы — низкая точность, ограниченный срок применимости и невозможность учесть все переменные.

    Второй — количественный. Здесь речь идет о строгих замерах: сколько времени сэкономлено благодаря ИИ и сколько это стоит в пересчете на ставки сотрудников. Например, если раньше разработчик тратил восемь часов на задачу, а с ассистентом — шесть, экономия времени превращается в конкретный денежный эквивалент.

    Этот метод консервативен и задает «нижнюю планку» эффекта, ниже которой компания точно не опустится. Но и он не универсален: скорость написания кода сама по себе не всегда отражает реальную эффективность, а не все сценарии автоматизации легко поддаются замеру в часах.

    Третий — генеративный подход. Это уже не просто косвенные признаки, а прямое измерение вклада ГенИИ в готовый продукт. Методика проста в формулировке, но сложна в реализации: фиксируется весь код, созданный моделью, затем он сравнивается с кодом, который реально попал в репозиторий, и рассчитываются две ключевые метрики — «проницаемость» (доля ИИ-кода в проекте) и «полезность» (процент сгенерированного кода, который был использован без существенных изменений). Читайте также

    Эффективность ГенИИ в разработке: как измерить на практике

    Рейтинг провайдеров спутникового интернета IT-World IT-World представил рейтинг провайдеров спутникового интернета в России — для тех, кто ищет связь там, где другие технологии бессильны. В обзоре сравниваются ключевые операторы, типы подключений, оборудование и условия доступа, чтобы помочь разобраться, кто и что предлагает вне зоны покрытия 4G.

    Например, если проницаемость составила 55%, это означает, что более половины кода, внесенного разработчиком, изначально было сгенерировано моделью, пусть даже с доработками. А полезность в 30% говорит о том, что почти треть предложений ИИ были взяты в проект в готовом виде.

    ИИ замедляет работу опытных программистов Такой подход применим к разработчикам любого уровня и дает возможность считать эффект не только через скорость, но и через фактический объем работы, выполненной искусственным интеллектом.

    В своей работе мы используем для оценки эффективности все три подхода. И если говорить о конкретных итогах, то результаты пилотов и проектов внедрения для крупных российских заказчиков Axenix показывают 15-31% прироста производительности, что сопоставимо с оценками международного консалтинга. По данным PwC, средний прирост производительности от внедрения ГенИИ составляет 15%–20%, у Gartner эта цифра доходит до 40%, а McKinsey фиксирует 20%–30%.

    Но важно помнить: эти показатели ограничены по времени. На старте мы сравниваем себя с «вчерашними» процессами и фиксируем резкий рост, но через год-полтора ИИ перестает быть чем-то особенным и превращается в стандартный инструмент. Тогда и метрики должны перестать быть «про ускорение» и перейти к более глубоким показателям — от качества результата до его бизнес-ценности.

    Когда плюсы перевешивают минусы

    Внедрение ГенИИ всегда балансирует между призом в виде ускорения процессов и набором вполне реальных рисков. Среди главных угроз — «галлюцинации» ГенИИ-моделей, когда машина выдает логично выглядящий, но неверный результат; снижение качества кода без должной валидации; возможные утечки интеллектуальной собственности при использовании внешних сервисов; уязвимости, которые могут быть сгенерированы вместе с кодом.

    Однако плюсы начинают явно перевешивать, когда в компании действуют четыре ключевых условия:

  • Глубокое понимание сильных и слабых сторон технологии: команда должна четко представлять, в каких сценариях ГенИИ дает максимум пользы, а где он лишь создает иллюзию ускорения.
  • Налаженный процесс валидации, в том числе автоматизированной, когда каждый фрагмент кода или текст проверяется на соответствие стандартам качества и требованиям безопасности.
  • Прозрачные критерии оценки эффективности, понятные как разработчикам, так и менеджменту. 
  • Наличие собственных или адаптированных под компанию инструментов измерения, позволяющих в любой момент показать, что, например, 30% кода в проекте уже сгенерированы ИИ без ущерба для качества.
  • Когда эти элементы сходятся, преимущества ГенИИ становятся очевидными. Он ускоряет и упрощает разработку, снижает затраты на поддержку и исправление кода, повышает консистентность стиля, помогает быстрее адаптировать новых сотрудников. Рутинные операции вроде генерации boilerplate-кода, написания тестов или подготовки документации перестают забирать часы человеческого времени. В результате команда не только успевает делать больше, но и получает возможность перераспределять ресурсы на задачи, которые раньше откладывались на потом.

    Новые компетенции и трансформация ролей

    Появление в команде ИИ-агентов меняет саму логику формирования штата и перечень востребованных компетенций. Ожидается появление специальностей, которых еще несколько лет назад не существовало: AI Trainer, AI Agent Specialist, AI Security Specialist, AI ROI Analyst и др. Эти специалисты будут отвечать за обучение систем ИИ, их адаптацию под задачи бизнеса, безопасность данных и оценку рентабельности проектов.

    В отчете Microsoft Work Trend Index эти профессии выстроены по популярности и прогнозируемому спросу, и значительная их часть связана не с технической разработкой, а с управлением, стратегией и аналитикой. Но при всей важности новых управленческих компетенций технические навыки никуда не исчезают.

    Эта трансформация неизбежно приводит к перераспределению ролей. Те, кто останется в рамках узких функций без освоения новых компетенций, будут постепенно вытесняться на периферию. А те, кто научится сочетать техническое понимание, управленческие навыки и работу с агентами, станут ключевыми фигурами в командах будущего.

    И именно они смогут в полной мере реализовать тот самый трилионный потенциал роста, который сегодня кажется смелым прогнозом, а завтра может стать повседневной реальностью экономики.

    Источник

    Оставьте ответ