Кейс
Почему ваш ИИ-ассистент придумывает кнопку загрузки, которой нет
Клиент спросил нашего чат-ассистента, как прислать нам два макета страниц. Тот отправил его к кнопке загрузки и адресу почты, которых не было. Мы изменили портал, экран команды и инструкции ассистента и добавили проверку перед отправкой ответов.
Главное
- Ассистент, у которого нет факта для задачи, опишет правдоподобный процесс, поэтому настоящий нужно ему прописать.
- Каждый адрес или номер, который может дать ассистент, стоит проверить со стороны клиента.
- Файлы должны приходить прикреплёнными к работе, к которой относятся, а не через чат или ссылкой на чей-то компьютер.
- Проверка ответа ловит выдуманные контактные данные, которые пропускают одни инструкции.
- Неудачный разговор — это карта пробелов: прочитайте его от первого вопроса до последнего возврата письма.
Когда ИИ-ассистент, выдумывающий ответы, говорит уверенно, клиент следует ответу и заходит в тупик. Один из наших клиентов спросил нашего чат-ассистента, как прислать нам два макета страниц. Тот отправил его к кнопке загрузки в нашем клиентском портале, а затем к адресу почты поддержки. Ни того, ни другого не существовало.
Уверенный ответ, который никуда не приводит клиента
Первый ответ указывал на кнопку, которой не было, а второй — на адрес, который не работал. Клиент не нашёл кнопку, и тогда ассистент дал адрес почты поддержки и сказал отправить файлы туда. Он также пообещал проверить, что письмо дошло. Адреса тоже не существовало; письмо клиента вернулось неотправленным.
В итоге работа была заведена со ссылками на файлы. Ссылки вели на компьютер самого клиента, поэтому никто с нашей стороны не мог их открыть. Человек, который делал работу, не получил макеты, и задача ждала. Для любого бизнеса вторая потеря хуже первой: клиент, которого отправили в никуда, решает, что сервис не знает собственных инструментов.
Почему ИИ-ассистент, выдумывающий ответы, звучит так уверенно
Ассистент, которого спросили о том, чего нет в его инструкциях, обычно описывает, что должно быть у сервиса вроде вашего, а не говорит, что не знает. Файлы — начало многого из того, о чём просит клиент: макет, документ, скриншот того, что не так. Если у ассистента нет факта о том, как до вас доходят файлы, он берёт привычную картину: кнопка на портале и адрес для поддержки.
Обещание проверить то, чего ассистент не видит, — обещание, которое никто не сдержит, и клиент ждёт ответа, который не придёт. Если загрузка файлов встроена в приложение, но не в сайт, клиент остаётся на компьютере без пути внутрь. Тогда ассистент заполняет этот пробел догадкой, потому что в его инструкциях нет настоящего пути.
Что нашёл наш инженер
Чтение чата от первого вопроса до вернувшегося письма показало два выдуманных ответа подряд и отсутствие настоящего способа отправить файл через портал. Наши два мобильных приложения уже умели прикреплять фото к заявке — записи, которую мы заводим на работу, — и файлы хранились вместе с ней. Веб-портал не мог прикрепить ничего и даже не показывал файлы, уже сохранённые для заявки. Экран, с которого работает наша команда, показывал только имя файла, но не способ его открыть.
В инструкциях ассистента о файлах не было ничего. На вопрос, фактов для которого у него не было, он описал, что обычно бывает у портала вроде нашего: кнопка загрузки и почтовый ящик поддержки. Оба звучали правдоподобно; ни того, ни другого не было. Ссылки на компьютер клиента были последней деталью. Они выглядели как ссылки, но открываются только на той машине, где созданы.
Что мы изменили
Мы дали файлам один настоящий путь внутрь, описали ассистенту этот путь простыми словами и добавили проверку его ответов. В портале у каждой заявки теперь есть панель «Ваши файлы». Клиент может прикрепить несколько файлов сразу — к новой заявке или к существующей — и видит каждый в списке с маленькой картинкой и ссылкой для открытия. Панель принимает картинки, PDF, файлы макетов, документы Word, Excel и PowerPoint, текст, выгрузки таблиц и zip-файлы. Файл больше 12 MB называется и отклоняется до отправки, а файл, который не прошёл, никогда не отменяет заявку; клиенту говорят, какой файл прикрепить снова. Если в описании заявки есть ссылка на файл на компьютере клиента, портал сообщает об этом и просит прислать файл.
С нашей стороны команда открывает присланное клиентом прямо из заявки, а не видит только имя файла. В инструкциях ассистента теперь сказано, как файл доходит до работы: в своей заявке, в портале или как фото в приложении, и никогда через чат, мессенджеры или почту. Там также сказано никогда не давать наш адрес, номер или счёт, которые не пришли из инструмента, и никогда не обещать проверить то, чего он не видит.
Одни инструкции — не обещание, поэтому есть и страховка. Перед отправкой ответа любой адрес почты, похожий на наш, но отсутствующий в нашем настоящем списке, заменяется на наш настоящий адрес офиса. Адрес самого клиента или кого-либо ещё остаётся как есть. Новые тексты портала есть на всех шести языках.
Как обстоят дела сейчас
Неверные ответы уходили два дня; исправление в портале, на экране команды и в ассистенте заработало на третий. Клиент теперь может прикреплять файлы к любой заявке из портала, приложения по-прежнему отправляют фото, а команда открывает каждый файл из заявки. Ассистент теперь указывает настоящий путь. Выдуманный наш адрес заменяется до отправки ответа, поэтому он не дойдёт до клиента, даже если ассистент его напишет.
Что вы можете проверить сами
- Спросите своего ИИ-ассистента, как клиент присылает вам файл, и пройдите его ответ шаг за шагом. Если шаг заканчивается кнопкой или страницей, которых вы не находите, вы нашли пробел.
- Спросите у него адрес почты поддержки и номер телефона, затем проверьте каждый, отправив сообщение или позвонив. Адрес, письма на который возвращаются, или номер, по которому никто не отвечает, нужно исправить.
- Отправьте тестовый файл так, как это сделал бы клиент, затем попросите человека, который делает работу, открыть его. Если он не видит его на своём экране, файл не дошёл.
- Просмотрите недавние чаты на обещания вроде «я проверю» или «я уточню». Спросите, кто их выполняет; если никто не может, ассистент не должен их давать.
- Если клиент присылает ссылку на файл на своём компьютере, откройте её на другом устройстве. Если она не открывается, попросите прислать файл вложением.
Что делать дальше
Начните с вопроса, который клиент задаёт, когда ему нужно что-то вам прислать. Пройдите ответ своего ассистента сами, исправьте факты, которых ему не хватает, и добавьте проверку перед отправкой его ответов. Именно такую работу делают наши инженеры: показывают ассистенту, как на самом деле работает бизнес, и проверяют то, что он говорит, прежде чем это увидит клиент. Если вы не можете проверить это безопасно, попросите того, кто занимается вашим сайтом или чатом, сделать это вместе с вами.
Частые вопросы
Почему мой ИИ-ассистент даёт ответы, которые звучат правильно, но неверны?
Потому что он заполняет пробелы в своих фактах правдоподобными деталями. Если ему не сказали, как клиент присылает вам файл, он описывает кнопку или адрес, которые могли бы быть у бизнеса вроде вашего. Ответ звучит гладко, потому что ассистент хорошо владеет языком, а не потому, что он проверил ваши инструменты. Исправление — дать ему настоящие шаги и проверить их.
Как не дать чат-боту выдавать несуществующий адрес почты?
Запишите адреса и номера, которые он может давать, и скажите ему никогда не давать те, что не пришли из инструмента. Затем проверяйте ответы на выходе: адрес на вашем доменном имени, которого нет в вашем списке, можно заменить на настоящий. Инструкции помогают, но именно проверка перед отправкой ответа ловит остальное.
Как проще всего клиентам присылать мне файлы?
Дайте им одно место, привязанное к работе, к которой файл относится, а не выбор между чатом, мессенджером и почтой. После прикрепления они должны видеть файл в списке, а человек, который делает работу, должен иметь возможность открыть его оттуда. Фото из приложения могут использовать ту же запись о работе.
Почему ссылки на файлы на компьютере клиента у меня не открываются?
Ссылка может указывать на место на компьютере самого клиента. Она выглядит как обычная ссылка, но работает только на этом компьютере. Попросите клиента прикрепить файл к заявке; так у человека, который делает работу, тоже будет копия, которую он сможет открыть.
Как часто мне просматривать чаты моего ассистента?
Нет единого интервала, подходящего любому бизнесу. Прочитайте несколько разговоров после того, как изменили услуги, цены или способ, которым клиенты присылают вам что-то, и прочитайте любой разговор, где клиент говорит, что не может что-то найти. Ищите обещания, которые дал ассистент, и проверяйте, что кто-то их выполняет.