Майкл рассказывает о создании AI-приложения под заказ

Почему Фора Софт делится этим разговором

Большинство кейсов от агентств — это PR. Этот ближе к честному дневнику основателя о том, что на самом деле происходит, когда вы заказываете разработку AI-продукта на заказ для требовательной, регулируемой области. Майкл Фельдштейн руководит компанией E-лiterate и выпускал образовательные технологии для миллионов студентов; он работал в третьем по величине издательстве учебников в США и был сооснователем edtech-стартапов. Он выбрал Форсофт для ALDA — инструмента для разработки учебных программ с ИИ для американских колледжей — после того как пообщался с крупной местной компанией и несколькими командами среднего размера, сопоставимыми с нашей.

Мы опубликовали это интервью по трём причинам. Во-первых, это честный рассказ о том, как опытный покупатель edtech-решений оценивает внешнего разработчика. Во-вторых, это реальный взгляд на ритм работы над AI-продуктом в 2024–2026 годах — включая ситуацию, когда поведение ChatGPT изменилось прямо посреди спринта. В-третьих, интервью фиксирует рабочие договорённости, которые делают такое сотрудничество возможным: agile-подход, высокий уровень доверия и отсутствие излишних требований вроде «фиолетовой кнопки».

Если вы создаёте AI-продукт для образования, здравоохранения или любой другой сферы, где поведение ИИ непредсказуемо, а последствия серьёзны, следующий разговор вам покажется знакомым.

Об ALDA и проблеме, которую он решает

ALDA — это образовательное приложение с искусственным интеллектом, созданное, чтобы помочь колледжам и университетам разрабатывать учебные программы быстрее и дешевле. Консорциум учебных заведений, стоящий за пилотом, обслуживает около полумиллиона студентов, многие из которых — первые в своих семьях, кто поступает в вуз, и живут в недостаточно охваченных городских районах. Там профессиональные навыки, рынок труда и образовательные инструменты меняются быстрее, чем за этим успевают традиционные методические комиссии.

Программа проходит в формате шестимесячной серии практических воркшопов, в которых учебные заведения совместно с ALDA разрабатывают учебные программы с использованием ИИ. Идея в том, что правильно созданный ИИ-инструмент может сократить цикл разработки программы с нескольких месяцев до нескольких недель, сохранив при этом высокое качество методической проработки. Риск — и причина, по которой выбрали индивидуальную разработку вместо готового решения, — в том, что контекст каждого учебного заведения и потребности каждой группы студентов сильно различаются.

Знакомьтесь: Майкл Фельдштейн, CEO ALDA

Валерия: Здравствуйте, Майкл. Спасибо, что пришли сегодня. Перед началом не могли бы вы представиться и рассказать пару слов о своём проекте?

Майкл: С удовольствием, Валерия. Меня зовут Майкл Фельдштейн. Я руковожу компанией E-лiterate. Мы в основном работаем в США — с колледжами и университетами, помогая им использовать технологии для улучшения образования. У меня большой опыт в этой сфере: я работал в одном из крупнейших издательств учебников в стране, участвовал в создании их главного обучающего программного обеспечения, которым ежегодно пользуются миллионы студентов. Также был в Oracle и сооснователем стартапа. Так что опыта в разработке образовательных технологий у меня более чем достаточно.

Валерия: Ваш проект, насколько я понимаю, — это инструмент на основе ИИ, который помогает лучше разрабатывать учебные программы в вузах, верно?

Майкл: Да, и это очень важно. Мы работаем с группой колледжей и университетов, где учатся студенты из малообеспеченных семей, первые в роду поступившие в вуз, и учащиеся из неблагополучных городских районов. Вместе эти учебные заведения обучают около полумиллиона студентов. Когда меняются навыки, технологии и профессии, особенно важно создавать курсы, соответствующие потребностям и опыту таких студентов. Это непросто даже для крупных вузов. Мы проверяем эту идею в рамках проекта с этими учреждениями — шестимесячной серии практических воркшопов, в ходе которых вместе разработаем AI-приложение. Цель — понять, может ли искусственный интеллект помочь быстрее и дешевле создавать учебные курсы.

Как Майкл выбрал Форс Софт

Валерия: Не могли бы вы рассказать о первых встречах с командой Фора Софт? Какими были ваши первые впечатления?

Майкл: Мои первые впечатления от деловых разговоров ещё до старта были очень положительными. Я пообщался с несколькими компаниями — от крупной фирмы, с которой часто работаю в США (очень хорошей, но дорогой), до отдельных специалистов и парочки компаний примерно такого же размера, как Форс Софт. С самого начала меня впечатлил профессионализм вашей команды: как руководитель помог определить задачу, объяснил ожидания, помог разобраться с программами для старта работы и чётко описал рабочий процесс.

Ожидания против реальности — как шёл прогресс

Валерия: За время нашей совместной работы — как вы оцениваете прогресс вашего проекта на данный момент?

Майкл: Я очень доволен первым релизом, который сейчас тестируем. Через несколько недель он будет почти готов к демонстрации клиентам, и я считаю, что мы проделали отличную работу. Параллельно уже начали подготовку второго релиза. Команда отлично справляется: держится в рамках бюджета и графика, регулярно информирует меня, корректирует планы по мере появления новых данных и идей, а также сама предлагает улучшения.

Валерия: Вы только что назвали три верных критерия для оценки любой команды разработки. Были ли заметные расхождения между вашими ожиданиями до начала разработки и тем, как реально шли работы?

Майкл: Это, честно говоря, замечательно. Я бы сказал, что мои ожидания оказались довольно близки к реальности. Обычно результат разочаровывает. К тому же работа шла быстрее, чем я ожидал. Я склонен быть осторожным — разработка ПО действительно сложная и часто сталкивается с проблемами, которые не решаются быстро. С Форой Софт всё было иначе: мелкие сбои возникали, но решались оперативно, и на них не приходилось тратить много времени.

Что действительно работает в партнёрстве

Валерия: Какие три вещи вам больше всего понравились в Форс Софт на данный момент?

Майкл: Я бы сказал, что Фора Софт действительно практикует agile-разработку. Многие компании говорят, что делают это, — но мало кто действительно делает. Вы хорошо понимаете, какой уровень документации нужен для нашей задачи, насколько важна коммуникация и правильный ритм встреч, и как все эти практики работают вместе. По моему опыту, Фора Софт — очень зрелая команда в agile-разработке. Именно такая мне и была нужна.

Валерия: С вашим опытом в образовательном ПО — насколько хорошо мы объясняем клиентам технические детали и особенности разработки?

Майкл: Важно, какое качество коммуникации демонстрирует сам клиент. Мне нужно достаточно подробно объяснять разработчикам, зачем нужна та или иная функция — чтобы они могли проявить креативность и сказать: «Так мы это сделать не можем, но если вам важно именно это, мы предложим лучшее решение». При этом я не должен перегружать деталями — не стоит указывать, что нужна фиолетовая кнопка, которая делает ровно вот это и находится ровно здесь. Вы профессионалы, и я рассчитываю на вашу экспертизу. Также важно чётко доносить приоритеты и оперативно реагировать на предложения: что делать в первую очередь, во вторую, в третью очередь и почему. По мере развития проекта наше сотрудничество становится всё лучше. Именно так и вышло с Фора Софт.

Хитрые сложности при создании AI-продукта

Валерия: Возникали ли в ходе разработки сложные моменты?

Майкл: О, без хитрых сложностей было бы неинтересно. Искусственный интеллект по своей природе сложен — это программное обеспечение, созданное так, чтобы быть немного непредсказуемым. Оно постоянно развивается, и мы не можем точно знать, как оно поведёт себя при определённых действиях. С момента начала разработки первой версии изменения происходили дважды — ChatGPT обновлялся так, что нам это даже помогло. Всё могло пойти и в обратную сторону, но оба раза повезло. Это снова подтверждает, почему важен подход agile и почему важно работать с командой, которая его понимает. Сложности всегда есть. Если проект делать правильно, эти сложности превращаются в возможности.

Валерия: Чувствуете ли вы, что мы движемся в правильном направлении с проектом?

Майкл: Как я уже сказал, я очень доволен первой итерацией и рад нашему прогрессу ко второй. По-моему, у Фор Софт всё получается отлично.

Оценки — пять из пяти

Валерия: По шкале от одного до пяти — как бы вы оценили нашу работу, включая профессионализм, вовлечённость и коммуникацию?

Майкл: Пять.

Что Майкл изменил бы в работе с нами

Валерия: Есть ли что-то, что вы хотели бы, чтобы Фора Софт улучшила?

Майкл: Да не особо. У каждой компании есть своя сильная сторона и подходящий тип задач. Я искал — поскольку это минимально жизнеспособный продукт (MVP) и я получал много обратной связи от клиентов — компанию, которая умеет сочетать хорошие практики управления проектом с гибкостью, без излишней бюрократии. «Фора Софт» оказалась для этого идеальной.

Что именно мы создали для ALDA

Майкл делает акцент на процессе. Но для тех, кто оценивает подобное сотрудничество, важны и несколько технических деталей.

Форма продукта. Веб-ассистент с ИИ, встроенный в процесс разработки учебных программ. Методисты, заведующие кафедрами и преподаватели проверяют черновики, созданные ИИ, вносят правки и экспортируют их в свою LMS. Интерфейс должен быть понятен преподавателям без технического опыта, тогда как ИИ выполняет всю сложную аналитическую работу в фоне.

Слой AI. Построен на базе OpenAI (с архитектурой, не привязанной к конкретному провайдеру, чтобы мы могли менять или комбинировать модели). Серьёзные вложения в проектирование промптов, системы оценки (eval harness) и регрессионные тесты — потому что поведение модели менялось дважды за первый релиз и изменится снова. У каждого промпта есть версионированный шаблон, спецификация ожидаемого результата и автоматическая проверка, которая запускалась перед любым релизом.

Ритм поставки. Итерации по две недели, еженедельная синхронизация с клиентом, параллельные релизные потоки после первого релиза. Документация — минимальная, но достаточная, чтобы команда оставалась согласованной, но не настолько подробная, чтобы замедлять работу. Бюджет и сроки отслеживаются на той же доске, что и клиент.

В чём сложность. Учебные программы — чувствительная область: ошибочный результат не просто неловок, он ставит студентов в невыгодное положение. Команда выстроила чёткие этапы проверки человеком (human-in-the-loop), валидацию входных данных для промптов и механизм, позволяющий преподавателям отмечать некачественные ответы ИИ — эти замечания возвращаются для доработки промптов.

Уроки для всех, кто заказывает AI-продукт

1. Нанимайте команду, которая серьёзно относится к недетерминированности AI. Самый дешёвый подрядчик будет воспринимать вашу AI-функцию как обычную интеграцию API и создаст хрупкие промпты. Правильный партнёр с самого начала вкладывается в системы оценки и версионирование — ведь модели постоянно меняются.

2. Приносите «зачем», а не «как». Как говорит Майкл: не нужно детально описывать фиолетовую кнопку — объясните, чего пользователь должен с её помощью добиться. Такой подход даёт команде свободу проявить креативность и предложить решения, которые окажутся лучше тех, что получились бы из жёсткой спецификации.

3. Выбирайте команду подходящего размера. Крупные консалтинговые компании перегружают MVP лишними процессами. Отдельные подрядчики, напротив, не выстраивают их вообще. Правильный размер — тот, что соответствует вашей стадии: для ALDA это команда среднего размера с реальной процессной дисциплиной, но без бюрократических накладных расходов.

4. Требуйте видимого прогресса. Еженедельные демонстрации, общие доски и прозрачность бюджета. Если вы не видите хода работ в реальном времени, неприятные сюрпризы обнаружатся слишком поздно.

5. Работайте с людьми, которые относятся к вам как к человеку. Самый меткий комментарий Майкла: «В мире контрактной разработки очень легко нарваться на подрядчика, для которого вы — это просто „вот код, платите деньги“». Выбирайте команду, в которой люди действительно вовлечены.

О ценностях, доверии и тех частях разработки, которые не сводятся к товару

Валерия: Есть ли что-то ещё важное для вас в проекте такого рода?

Майкл: Для меня важно работать с компанией, где люди, с которыми я общаюсь, действительно заботятся обо мне как о клиенте и честно говорят, что получается хорошо, а что — нет. В мире контрактной разработки легко попасть на подрядчика, для которого ты — просто «вот код, платите деньги». Я остался очень доволен каждым без исключения сотрудником Форсофт, с которым взаимодействовал. Мне было важно, что обо мне заботятся, меня слушают и дают обратную связь — а это редкость.

Порекомендуете ли вы Фора Софт?

Валерия: Будете ли вы сотрудничать с Фора Софт над будущими проектами? Или порекомендуете нас другим?

Майкл: Да и да.

Валерия: Хотите добавить что-то ещё о своём опыте работы с Фора Софт?

Майкл: Я рекомендую эту компанию. Считаю, что вы соблюдаете хорошие практики разработки и работаете креативно и слаженно — при этом по разумной цене. Ничего плохого вспомнить не могу.

Смотрите полный разговор с Майклом на нашем YouTube-канале →

Почему в регулируемых областях AI на заказ выигрывает у готовых решений

Обёртки над ChatGPT выглядят привлекательно — пока область не становится узкой. Для ALDA было три причины, по которым победила разработка на заказ.

Промпты под контекст. Универсальные AI-инструменты не понимают, что на самом деле значит «учебная программа по прикладной логистике для студента общественного колледжа, первого в семье». А промпты, дообученные модели и слои извлечения данных (retrieval), учитывающие специфику области, — понимают.

Оценка, которую можно отстоять. Готовые инструменты не дают вам собственной системы оценки. Разработка на заказ позволяет проверять результаты по стандартам методического проектирования ещё до того, как материалы попадут к студентам.

Границы данных. Образовательные данные подпадают под требования FERPA. Готовые решения часто отправляют запросы в сторонние системы обучения, а разработка на заказ позволяет учебному заведению хранить персональные данные (PII) внутри своей сети.

Плейбук покупателя, который мы используем в AI-проектах

Выжимка из работы над ALDA и смежных AI-проектов, которые мы реализовали.

Схема принятия решения — подходит ли вам разработка ИИ на заказ?

Вопрос 1. Насколько специфична ваша область? Если универсальный AI-инструмент уже покрывает 80% ваших задач, то разработка под заказ может оказаться нецелесообразной. Но если ключевая ценность — в оставшихся 20%: регулируемые результаты, глубокое знание предметной области, доверие со стороны заинтересованных сторон — тогда разработка на заказ становится оправданной.

Вопрос 2. Сможете ли вы отстоять методологию оценки? Если клиенты, регуляторы или члены совета директоров спросят: «Откуда вы знаете, что ИИ даёт правильный результат?» — вам нужна надёжная система оценки. А значит, придётся разрабатывать решение под конкретную задачу.

Вопрос 3. Настолько ли чувствительны данные, что их нельзя передавать третьей стороне? Если да — HIPAA, FERPA, PCI, данные с экспортным контролем — готовые решения не подойдут.

Вопрос 4. Как быстро вам нужен первый релиз? Меньше 8 недель — собирайте из готовых решений. 3–5 месяцев — оптимальный срок для разработки на заказ. Больше 9 месяцев обычно означает, что объём слишком велик для MVP — разбейте его.

Вопрос 5. Готовы ли вы оценивать подрядчиков по их дисциплине в работе с ИИ, а не только по портфолио? Выпустить веб-приложение может почти любая команда. Ответственно выпускать ИИ-продукты — мало кто. Спрашивайте каждого партнёра из шорт-листа, как он версионирует промпты, проводит оценку и справляется с дрейфом моделей.

Пять ловушек в AI-проектах на заказ

1. Относиться к промптам как к одноразовым. Промптам нужно версионирование, тестирование и наборы регрессионных проверок — как и любому другому коду. Команды, которые этого не делают, не выживут после первого же обновления модели.

2. Отсутствие этапов проверки человеком. В регулируемых областях AI-продуктам нужна явная проверка человеком для чувствительных результатов. Добавлять её задним числом сложно — закладывайте с самого начала.

3. Выбирать модель до оценки. Разным задачам подходят разные модели. Сначала настройте систему оценки, протестируйте на ней несколько моделей-кандидатов, а потом уже выбирайте одну.

4. Игнорировать дрейф модели. Базовые модели со временем меняются. «Фора Софт» дважды зафиксировала изменения в поведении ChatGPT за первый релиз ALDA. Настройте мониторинг, который будет оповещать о снижении качества работы.

5. Переусердствовать с детализацией интерфейса. «Мне нужна фиолетовая кнопка вот здесь» — это классический плохой бриф по Майклу. Описывайте результат, а не пиксели; дайте команде проявить продуктовое мышление.

Частые вопросы

Что почитать дальше

Готовы выпустить AI-продукт на заказ точно в срок?

Майкл выбрал Форс Софт, а не более крупные американские компании и частных подрядчиков, потому что формат нашего сотрудничества идеально подходит для работы над AI-продуктами: настоящий agile, достаточный объём документации, быстрый ритм встреч, дисциплина в работе с промптами и честная команда. После двух релизов его оценки — 5/5 по профессионализму, вовлечённости и коммуникации, а на вопрос «порекомендуете ли вы нас?» он ответил: «да и да».

Если вы планируете создать AI-решение на заказ — для образования, здравоохранения, медиа или любой другой сферы, где ошибки ИИ могут привести к серьёзным последствиям, — мы обсудим формат работы, выбор модели, подход к оценке эффективности и план первого релиза за 30-минутный разговор. Без презентаций — только конкретные решения.