«Если вы не можете доказать, как алгоритм пришел к выводу — считайте, что он просто соврал.»
На любом оборонном или авиационном предприятии traceability — это религия. Если деталь сломалась, мы должны найти плавку, из которой она отлита, и мастера, который ставил подпись. Почему с ИИ должно быть иначе? Вендоры приносят «черные ящики»: загрузили смету, нейросеть выдала ответ «отказать». CIO спрашивает: «Почему?». Интегратор пожимает плечами: «Так решила математика». Для меня, как независимого эксперта, это красный флаг. В закрытом контуре мы обязаны обеспечить трассируемость. Если ИИ-агент пишет в ТЭО цифру 150 миллионов, рядом должна стоять кликабельная ссылка на конкретный абзац в конкретном PDF-скане 2021 года (Data Lineage). Без этого ИИ не имеет права голоса. Трассируемость — это то, что отличает промышленную систему от игрушечного чат-бота.