Как лечить «склероз» ИИ при работе со смартфона

Одна из самых частых ошибок при работе с нейросетью с телефона — это попытка скинуть ей сразу весь большой текст целиком: длинную статью на правку, объёмный документ на анализ, многостраничный список задач. Кажется, что так быстрее — один раз вставил и жди результат.
Больше полезного про нейросети — простым языком, каждый день в нашей группе ВКонтакте
Перейти во ВКонтакте →На практике всё наоборот. Без чётких рамок нейросеть, получившая слишком большой объём текста за один раз, начинает «путать» части документа между собой, упускать детали из середины текста, а к концу диалога и вовсе выдавать более расплывчатые, менее точные ответы — эффект, который можно неформально назвать «склерозом» ИИ. Причина в том, что модель обрабатывает весь контекст диалога целиком, и чем он длиннее и разнороднее, тем сложнее ей удерживать фокус на конкретной актуальной задаче.
Особенно остро эта проблема ощущается при работе именно со смартфона: маленький экран не позволяет удобно пролистывать длинный ответ, сверять, что именно изменилось, искать нужный фрагмент в объёмном тексте.
Решение — техника, которую можно назвать «пошаговым буфером». Смысл в том, чтобы заранее ограничить модель конкретным лимитом на объём одной порции работы, отправляемой за раз, и подавать текст небольшими частями, дожидаясь ответа на каждую, прежде чем переходить к следующей.
Перед тем как отправлять сам текст, нужно задать нейросети рамки отдельным сообщением:
«Я скину текст частями. Ничего не анализируй сразу, ответь только: "Жду порцию". Выдавай результат пошагово — не более 15% за раз. Без команды "Дальше" к следующему куску не переходи».
После этого нейросеть перестаёт пытаться держать в голове весь объём материала сразу и обрабатывает каждый фрагмент точечно, выдавая результат прямо на экране телефона без каши из перепутанных частей документа. Это особенно удобно, если правки нужно вносить последовательно и проверять каждую перед тем, как двигаться дальше — что практически невозможно сделать аккуратно, если бросить нейросети сразу весь объём.