Жульєн Флоркін

Штучний Інтелект

Як контролювати ризики, пов'язані зі штучним інтелектом, після першого пілотного проекту

Після першого пілотного проекту зі штучного інтелекту керівникам слід контролювати ризики перед масштабуванням, переглядаючи цінність, якість впровадження, надійність даних, стандарти перегляду та рівень відповідальності.

Зображення обкладинки для статті «Як контролювати ризики, пов’язані зі штучним інтелектом, після першого пілотного проекту».

Як контролювати ризики, пов'язані зі штучним інтелектом, після першого пілотного проекту

Перший пілотний проект зі штучним інтелектом часто є найлегшою частиною шляху. Невелика команда мотивована, варіант використання вузький, спонсор звертає увагу, а бізнес готовий терпіти певну невизначеність. Перші результати можуть швидко виглядати багатообіцяючими.

Ризик починається після цього.

Як тільки пілотний проект спрацює, люди захочуть розширитися. Більше користувачів запитують на доступ. Суміжні команди хочуть мати власні варіанти використання. Постачальники пропонують ширше розгортання. Керівництво хоче доказів цінності. Пілотний проект стає символом імпульсу, і бізнес може почати масштабуватися, перш ніж навчиться контролювати ризики.

Контроль ризиків, пов'язаних зі штучним інтелектом, після першого пілотного проекту полягає у вирішенні питань, що зупинити, виправити, стандартизувати та масштабувати, перш ніж експеримент стане частиною операційної моделі.

Зміст

Коротка відповідь

Після першого пілотного проекту зі штучним інтелектом, перед розширенням доступу, контролюйте ризики, перевіряючи цінність, якість впровадження, надійність даних, перевірку людиною, вплив на робочий процес, інциденти, володіння та готовність до масштабування. Успішний пілотний проект не повинен автоматично перетворюватися на розгортання.

Ключове рішення полягає в тому, чи слід зупинити варіант використання, виправити його чи масштабувати. Якщо він створив цінність, але залежав від героїчних користувачів, неохайних даних, нечітких стандартів перевірки або неформальних обхідних шляхів, наступним кроком буде не широке розгортання. Наступним кроком буде виправлення умов експлуатації.

Скористайтеся пілотним проектом, щоб дізнатися, що бізнес-система має впровадити далі: управління, правила робочого процесу, засоби контролю даних, навчання, стандарти перевірки, метрики та шляхи ескалації.

Після пілотного питання Що перевірити Рішення, яке воно інформує
Чи створило це реальну цінність? Результат робочого процесу, а не лише використання. Продовжити, переробити або зупинитися.
Чи було усиновлення повторним? Поведінка цільового користувача з плином часу. Навчайте, спрощуйте або масштабуйте.
Чи були виходи достатньо безпечними? Перевірте якість, помилки та інциденти. Додайте елементи керування або обмежте область дії.
Чи були дані достовірними? Відсутні, застарілі, дубльовані або конфліктуючі вхідні дані. Очистити, закрити воротами або виключити.
Чи можуть менеджери це підтримати? Можливості коучингу, огляду та ескалації. Готовність до масштабування.

Чому постпілотна фаза є ризикованою

Пілоти створюють контрольоване середовище. Масштабування створює експозицію.

Під час пілотного проекту бізнес може покладатися на невелику групу уважних користувачів, пильну увагу спонсорів, ручний перегляд та гнучке вирішення проблем. Після пілотного проекту ці захисти слабшають. Більше користувачів призводить до більшої різноманітності. Більше робочих процесів призводить до більшої кількості граничних випадків. Більше джерел даних призводить до більшої невідповідності. У менеджерів менше часу на перевірку всього.

Ось чому успіх раннього пілотного проекту може бути оманливим. Пілотний проект може довести, що штучний інтелект може допомогти певній команді за певних умов. Він не доводить, що бізнес загалом готовий використовувати його безпечно, послідовно чи прибутково.

Ризик після пілотування зазвичай проявляється у п'яти сферах:

  • значення є анекдотичним, а не виміряним
  • варіант використання залежить від надзвичайно кваліфікованих користувачів
  • проблеми з якістю даних вирішувалися вручну
  • правила перевірки людиною були неформальними
  • право власності незрозуміле після того, як спонсор відступить

Ось чому в статті «Як контролювати ризики штучного інтелекту під час розгортання» розглядається розгортання як зміна операційної системи, а не просте розширення доступу.

Відокремте успіх пілотного проекту від готовності до масштабування

Перша дисципліна полягає у розділенні двох питань: чи спрацював пілотний проект і чи готовий він до масштабування?

Це не одне й те саме питання.

Пілотний проект працює, коли він надає корисні докази в обмеженому контексті. Варіант використання готовий до масштабування, коли бізнес може повторити цю цінність з різними користувачами, за нормального робочого навантаження, з відомими засобами контролю ризиків та чітким правом власності.

Сигнал про успіх пілотного проекту Сигнал готовності ваги
Кілька користувачів заощадили час. Цільові користувачі можуть повторювати поведінку без значної підтримки.
Результати виглядали корисними. Вихідні дані проходять визначену перевірку якості для всіх зразків.
Спонсору сподобався результат. Покращено показники бізнес-результатів у робочому процесі.
Жодного серйозного інциденту не сталося. Існують правила управління ризиками, засоби контролю даних та шляхи ескалації.
Інструмент добре себе показав. Операційна модель може підтримувати постійне використання.

Якщо лідери об'єднають ці питання, вони можуть зосередитися на ентузіазмі, а не на здібностях.

Перевірте цінність перед розширенням доступу

Перший огляд після пілотного проекту має запитувати, яка цінність насправді була створена. Не те, що може зробити інструмент. Не те, наскільки захопливою була демонстрація. Не те, скільки людей хочуть отримати доступ. Що змінилося в роботі?

Корисні питання щодо цінності включають:

  • Чи став робочий процес швидшим?
  • Чи покращилася якість виходу?
  • Чи зменшилася кількість переробок?
  • Чи приймали користувачі кращі рішення?
  • Чи стали передачі чистішими?
  • Чи відчули клієнти або внутрішні зацікавлені сторони покращення?
  • Чи зменшила команда ризики, витрати або затримки?

Найкращий показник залежить від варіанту використання. Пілотний проект підтримки може вимірювати рівень виправлень та якість реагування. Пілотний проект продажів може вимірювати час підготовки та повноту передачі. Пілотний проект лідерства може вимірювати час циклу прийняття рішень та завершення дій.

«Метрики впровадження ШІ, які лідери повинні використовувати для ясності», корисні тут, оскільки післяпілотний огляд має вимірювати поведінку та результати, а не лише активність.

Перевірте якість впровадження

Впровадження пілотного проекту може бути спотворене новизною. Люди використовують інструмент, тому що пілотний проект є видимим, підтримується та тимчасовим. Сталий процес впровадження відрізняється.

Після пілотного проекту перевірте, чи користувачі прийняли нову поведінку в реальному робочому процесі.

Якість усиновлення включає:

  • багаторазове використання цільовими користувачами
  • використання у затвердженому робочому процесі
  • впевненість у застосуванні ШІ без постійної допомоги
  • правильне використання правил рецензування
  • готовність повідомляти про проблеми
  • підкріплення менеджера
  • докази того, що поведінка продовжувалася після початкового запуску
Сигнал прийняття Хороший знак Попереджувальний знак
Повторне використання Користувачі повертаються, бо це допомагає робочому процесу. Використання падає після того, як новизна зникає.
Довіра Користувачі знають, коли використовувати, перевіряти та ігнорувати штучний інтелект. Користувачі або уникають ШІ, або надмірно довіряють йому.
Підтримка менеджера Менеджери переглядають приклади та підкріплюють стандарти. Менеджери ставляться до використання ШІ як до необов'язкової цікавості.
Звітування про проблеми Користувачі виявляють помилки та граничні випадки. Проблеми приховуються або вирішуються неформально.
Відповідність робочому процесу Штучний інтелект природно вписується в робочий процес. Штучний інтелект додає зайві кроки без достатньої цінності.

Якщо якість впровадження низька, поки що не масштабуйте. Спочатку виправте поведінку користувачів, відповідність робочому процесу або підтримку менеджерів.

Перевірка надійності даних та контексту

Багато пілотних проектів досягають успіху, оскільки користувачі вручну компенсують нечіткі дані. Вони знають, яким записам довіряти, які документи ігнорувати, а які результати потребують додаткової перевірки. Ці знання можуть не масштабуватися.

Після пілотного проекту перегляньте дані та контекст, від яких залежав ШІ:

  • які поля були обов'язковими
  • які документи були використані
  • які записи були відсутні або застарілі
  • чи конфліктували вихідні системи
  • як користувачі перевіряли виходи
  • які припущення були зроблені вручну
  • чи дотримувалися обмеження щодо даних

Це запобігає поширеній помилці: масштабуванню сценарію використання, який працює лише тому, що пілотна група непомітно виправила вхідні дані.

Якщо дані були неохайними, книга « Як контролювати ризики штучного інтелекту, коли дані є неохайними» пропонує наступний практичний рівень: зіставте ризик випадку використання з якістю необхідних даних.

Стандартизувати перевірку людиною

Людський огляд під час пілотного проекту часто є неформальним. Уважна пілотна група уважно читає результати, обговорює проблеми та ставить запитання. Така поведінка корисна, але вона ще не є масштабованим контролем.

Перед розширенням визначте стандарти огляду:

  • які результати потребують перегляду
  • хто їх переглядає
  • що перевіряють рецензенти
  • що вважається прийнятною якістю
  • які помилки блокують використання
  • як реєструються виправлення
  • коли проблеми загострюються
Тип виходу Стандарт перегляду після пілотного проекту Ризик масштабування, якщо відсутній
Внутрішній зведення Перевірте висвітлення джерела та відсутній контекст. Команди діють на основі неповних зведень.
Чернетка для клієнта Перевірте факти, тон, твердження та відповідність політиці. Шкода за довіру та репутацію.
Рекомендація Перегляньте вхідні дані та логіку прийняття рішень. Погана пріоритетність або упереджені дії.
Маршрутизація робочого процесу Зразкові класифікації та винятки. Неправильна робота потрапляє до неправильних власників.
короткий опис керівництва Перевірте надійність джерела та відкрийте припущення. Лідери приймають рішення з відшліфованої невизначеності.

"Людина перевірить це" недостатньо. Бізнесу потрібно визначити, що означає хороший відгук.

Вирішіть зупинити, виправити чи масштабувати

Кожен пілотний проект зі штучним інтелектом має завершуватися чітким рішенням. Занадто часто пілотні проекти відхиляються від плану. Інструмент залишається доступним, використання поширюється неформально, і ніхто не вирішує, чи має варіант використання право на масштабування.

Використайте три рішення:

  • зупинитися, якщо цінність низька, ризик високий або варіант використання не відповідає реальній роботі
  • виправити, якщо значення видно, але умови роботи не готові
  • масштаб, якщо значення повторюване та елементи керування працюють
Рішення Коли його вибрати Наступна дія
Стоп Пілотний проект не приніс жодної користі або ж ніс неприйнятний ризик. Закрити доступ та задокументувати уроки.
виправляти Пілотний проект продемонстрував цінність, але потребує надійнішої підтримки даних, робочого процесу, перевірки або впровадження. Відремонтуйте умови та запустіть ще один обмежений цикл.
шкала Пілотний проект приніс відтворювану цінність з керованим ризиком та чіткою відповідальністю. Розширюйте поетапно з моніторингом.

Така дисципліна рішень захищає бізнес від автоматичного масштабування.

Робочий приклад: Успішний пілотний проект, який не був готовий до масштабування

Уявіть собі сервісну компанію, яка пілотує штучний інтелект для зведення результатів передачі проектів. Мета полягає в тому, щоб допомогти командам з реалізації швидше зрозуміти контекст клієнта після того, як відділ продажів укладе угоду.

Пілотний проект добре працює з п'ятьма досвідченими менеджерами з обслуговування клієнтів. Вони використовують штучний інтелект для узагальнення нотаток CRM, стенограм дзвінків, деталей пропозицій та нотаток про ризики. Команди розробників кажуть, що узагальнення економлять час і покращують підготовку до початку.

Керівництво хоче масштабувати варіант використання на всю команду з продажу.

Післяпілотний огляд виявляє кілька проблем:

  • досвідчені користувачі вручну вибрали правильний вихідний матеріал
  • Нотатки CRM були невідповідними поза межами пілотної групи
  • у старих угодах часто бракувало приміток про ризики
  • ніхто не визначив, що саме доставка має перевірити перед початком
  • менеджери ще не перевіряли якість резюме
  • Платіжні дані не були включені до робочого процесу передачі

Рішення не зупинятися. Пілотний проєкт створив цінність. Але він ще не готовий до масштабування.

Компанія обирає «виправити» та впроваджує:

  • обов'язкові вихідні поля перед створенням зведення ШІ
  • Шаблон зведення передачі з урахуванням обсягу, ризиків, зацікавлених сторін та наступного етапу
  • контрольний список перевірки доставки для перших десяти масштабованих справ
  • зразок огляду менеджера щотижня
  • блокування створення зведення, коли відсутні обов'язкові поля
  • цикл зворотного зв'язку від доставки до операцій збуту

Після другого циклу варіант використання безпечніше розширювати. Бізнес не відхилив пілотний проект. Він використав його, щоб з'ясувати, що потрібно операційній моделі.

Призначити відповідальність після пілотного проекту

Пілотні проекти часто мають тимчасову енергію. Хтось спонсорує експеримент. Керівник проекту координує діяльність. Постачальник підтримує налаштування. Користувачі беруть участь, оскільки пілотний проект видно.

Після пілотного проекту право власності має стати оперативним.

Визначте:

  • власник бізнесу для конкретного випадку використання
  • технічний власник інструменту або інтеграції
  • власник даних для ключових вхідних даних
  • відгук власника про якість виробленої продукції
  • власника-удочерителя для навчання та підкріплення менеджера
  • відповідальний за ризики щодо інцидентів та ескалації
  • відповідальний за рішення щодо зупинки, виправлення або масштабування

Власність запобігає перетворенню випадку використання на осиротілий інструмент з нечіткою відповідальністю.

Монітор Першого Шкального Кроку

Якщо рішення стосується масштабування, масштабуйте його поетапно. Перше розширення все ще є перевіркою операційної моделі.

Монітор:

  • впровадження цільовими користувачами
  • якість виходу
  • перевірка відповідності
  • дефекти даних
  • інциденти та майже нещасні випадки
  • зекономлений час або покращена якість
  • підтримка менеджера
  • довіра користувача
  • винятки, створені новим робочим процесом

Не чекайте три місяці, щоб виявити, що впровадження відхилилося від плану. Переглядайте результати щотижня або раз на два тижні протягом першого етапу масштабування.

Саме тут контроль ризиків перетворюється на навчання. Бізнес повинен очікувати нових граничних випадків. Питання в тому, чи помічає система їх та адаптується.

поширені помилки

Перша помилка — масштабування через популярність пілотного проекту. Популярність — це не те саме, що цінність, безпека чи повторюваність.

Друга помилка полягає в тому, що пілотна команда є доказом того, що всі користувачі можуть впровадити систему. Ранні користувачі часто є більш мотивованими, кваліфікованими та підтриманими, ніж організація загалом.

Третя помилка — ігнорування ручних обхідних шляхів. Якщо пілотний проєкт спрацював, оскільки люди непомітно виправляли дані, перевіряли кожен вихідний результат або обробляли винятки вручну, ці умови мають бути розроблені до масштабування.

Четверта помилка полягає в тому, що після пілотного проекту питання власності залишається нечітким. Варіант використання без власника буде відходити від реальності.

П'ята помилка полягає в вимірюванні лише використання після розширення. Лідерам потрібна якість впровадження, якість результатів, сигнали ризиків та динаміка результатів.

Практичний наступний крок

Проведіть аудит робочого процесу та даних штучного інтелекту, перш ніж розширювати пілотний проект.

Скористайтеся цим оглядом:

  • Яку цінність створив пілотний проєкт?
  • який результат робочого процесу змінився?
  • які користувачі застосовували неодноразово?
  • Де користувачам потрібна була додаткова підтримка?
  • Від яких даних залежав ШІ?
  • які помилки або майже промахи виникли?
  • як були перевірені результати?
  • які засоби контролю були неформальними?
  • Хто буде відповідальним за варіант використання після пілотного проекту?
  • Чи має бути рішення зупинити, виправити чи масштабувати?

Якщо відповідь — «виправити», виберіть найменший варіант виправлення, який зробить наступний цикл безпечнішим: кращі поля введення, чіткіші правила перевірки, коучинг менеджерів, шлюзи даних або вужчий варіант використання.

FAQ

Чи означає успішний пілотний проект зі штучного інтелекту, що нам слід масштабуватися?

Ні. Успішний пілотний проект означає, що варіант використання дав корисні докази в обмеженому контексті. Масштабування вимагає повторюваної цінності, якості впровадження, надійності даних, стандартів рецензування та чіткого контролю.

Що нам слід вимірювати після першого пілотного проекту зі штучного інтелекту?

Вимірюйте результат робочого процесу, повторне впровадження цільовими користувачами, якість виводу, дефекти даних, відповідність перевірки, інциденти або майже помилки, довіру користувачів, підтримку менеджера та вартість підтримки сценарію використання.

Коли слід зупинити пілотний проект зі штучним інтелектом?

Зупиняйтеся, коли цінність низька, ризик високий, робочий процес погано відповідає вимогам або засоби контролю, необхідні для забезпечення безпеки випадку використання, коштуватимуть дорожче, ніж вартий сам варіант використання.

Коли пілотний проект зі штучним інтелектом слід фіксувати, а не масштабувати?

Оберіть «Виправити», коли пілотний проект демонструє цінність, але залежить від неякісних даних, надзвичайно кваліфікованих користувачів, неформального огляду, нечітко визначеного власника або інтенсивної ручної підтримки. Виправте ці проблеми перед широким розгортанням.

Кому належить ШІ після пілотного епізоду?

Власність має бути спільною, але чітко визначеною. Власник бізнесу повинен відповідати за результат варіанту використання. Відповідальні за технічні питання, дані, ризики, рецензування та впровадження повинні підтримувати систему. Не залишайте право власності тимчасовій пілотній команді за замовчуванням.

Перетворіть докази пілотів на операційну дисципліну

Перший пілотний проект зі штучним інтелектом — це не фінішна пряма. Це перший крок у зборі доказів.

Після пілотного проекту бізнес має вирішити, що зупинити, виправити або масштабувати. Він має перетворити отримані уроки на правила робочого процесу, засоби контролю даних, стандарти перевірки, підтримку впровадження, відповідальність та моніторинг. Саме так перспективний експеримент стає контрольованим бізнес-важелем.

Пілоти зі штучним інтелектом створюють можливості. Дисципліна після пілотування визначає, чи стане ця можливість надійною цінністю.

Пов'язане читання

Штучний Інтелект

Проектування робочого процесу для стратегії ШІ та бізнес-важелів: перед масштабуванням

Практичний посібник з проектування робочого процесу на основі штучного інтелекту перед масштабуванням, що охоплює результати робочого процесу, ролі ШІ, правила перевірки, право власності, шляхи до даних, метрики та правила зупинки.

Читати статтю

Штучний Інтелект

Метрики впровадження ШІ, які лідери повинні використовувати для ясності

Метрики впровадження ШІ повинні показувати, чи змінюють люди поведінку, використовують ШІ з розсудливістю та покращують реальну роботу, а не просто входять в інструменти.

Читати статтю

Штучний Інтелект

Як контролювати ризики продажів, коли дані неоднорідні

Нечіткі дані про продажі створюють ризики, пов'язані з прогнозами, маржею, доставкою та штучним інтелектом. Виправте критично важливі для прийняття рішень поля та елементи керування, перш ніж масштабувати автоматизацію.

Читати статтю