Без заголовка
А не попадались ли Вам подходы к ИИ, в которых результаты каждого шага обучения и то и применения этого ИИ считается важным вывести в человекочитаемый вид, выписать типа как своими словами, и только после этого делать следующий шаг? В этом видится и решение проблемы объяснимости шагов ИИ, и доказательства его эффективности, и т.п.