Вопрос в том, как могут самоорганизовываться автоматы из неразмеченных данных, эволюционируя до использования языка.

Вначале ... не знаем сколько их, какие состояния они могут принимать, какие цели они ставят и способны ли понимать цели других и т.д.

Появившийся в какой-то новой среде сродни вновь рожденному. Каким тогда будет восприятие этого мира? Что-то сродни этому. Но более реалистичный будет картина, если учесть выборочность внимания и неразличимость некоторых состояний из-за шума.

Видим эти сигналы (состояния), распознаем. А дальше? Вопрос же в целесообразности. Вопрос в достижимости целевого состояния. Цель, как конечное состояние или последовательность определённых состояний, может быть достигнута, если будет известна последовательность действий, приводящая к этой цели. В этом смысле будем группировать состояния по отдельностям  (словечко Т. Черниговской СПбГУ), включая саму среду.

Некоторые эти отдельности могут управлять другими отдельностями (автомат, агент, среда). Некоторые могут быть частью других. Пусть имеем поток информации: входные ее последовательности. Раз важна предсказуемость, то и проверяем выбранные пары на это свойство, рассчитывая коэффициент однозначности (возможны и другие подходы).

Пусть сначала выбранной парой будет черная пара. Видим для второй гипотезы однозначность 100%: имеем отдельность (в данном случае детерминированный конечный автомат).

Если теперь проанализировать синюю пару, то коэффициент однозначности тоже равен единице. Заметим, что подсостояния 41,44,45 состояния 11 будут действиями для состояния 12, имеющей подсостояния 52,53,54. Тот факт, что 11 управляет 12, обозначим 11=>12.

Рассмотри первые две последовательности рис.1. Сразу получили ku=1, но при более длительном наблюдении скорее всего будем иметь неоднозначность. Весьма вероятно, что (рис. ниже) из 15 при действии 31 последует либо 54, либо 52, либо 53. А из 54 (вернее из 52|53|54) последует либо 41, либо 44, либо 45)

Если сделать замену (11=41|44|45, 12=52|53|54), то будем иметь ku=1 для состояния 77 с подсостояниями 11,12,14,15. Таким образом, состояние 11 управляет состоянием 12, и оба они являются подсостояниями состояния 77:

• 11=>12 #одиннадцать действует на двенадцать (управляет им)

• 77.11 #одиннадцать семидесяти семи (отношение часть целого)

• 77.12 #двенадцать семидесяти семи

Тот момент, что в произвольно выбранном состоянии может быть множество подсостояний и потребуется обучение с подкреплением для поиска цели в нем - стандартная процедура с множеством хорошо продуманных решений.

Замечу другое. Если не интересоваться содержательной стороной сказанного и рассматривать только синтаксическое значение, то можно генерировать разные тексты. Содержательная же сторона будет раскрыта, если будут раскрыты внутренние переходы между подсостояниями.

56.43=>78 78.54. 78=>41=>92

43, являясь частью 56, изменяет 78, имеющее подсостояние 54. 78 управляет 92 с помощью 41.

Предположу, что поиск однозначности, выделение отношений действие/состояние, состояние/подсостояние при эволюционных процессах происходят автоматически. Языковые, а именно синтаксические, возможности появляются в разных вариациях не у всех.