La véritable préoccupation ne concerne pas seulement la convergence du modèle — c'est le phénomène selon lequel ces systèmes développent des schémas cognitifs semblables à ceux des humains, entièrement par eux-mêmes, sans programmation délibérée pour cela. Ils manifestent des capacités de théorie de l'esprit, affichent une conscience métacognitive et démontrent ce que les chercheurs ont commencé à appeler avec précaution des caractéristiques proches de la conscience. Rien de tout cela n'a été explicitement codé dans leur architecture.