> Пока ИИ умеет только подбирать самые вероятные слова на основе материала на котором он был обучен
Еще CAG/RAG есть: могут искать в потенциально наиболее подходящих источниках, использовать в качестве контекста что-то наиболее актуальное, потом уже фоллбэчиться на привычное усложненное бредогенерирование из того, на чем обучили. Можно бы было прям-таки и дообучаться с этого периодически, по аналогии с тем что и человек спит, но это видимо в недалеком будущем. Ну и забывать что-то выборочно (это уже используют, насколько понимаю).
> может ли "интеллект" в своих рассуждениях прийти к новым концепциям, новым знаниям, сделать открытие. ... Даже если мы добавляем дополнительные шаги, по кругу кормя модель её же выхлопом
Это часть фундаментального философского срача эмерджентизм vs идеализм: возникнет ли подлинная креативность когда-нибудь с наступлением достаточной сложности в груде железа и софта или это принципиально почему-то невозможно.
Всё что пока ясно — нужная сложность, по сравнению с кожными мешками, еще не достигнута. Даже если вместо обычных CPU/GPU юзать PLD, а для источника энтропии взять квантовые вычисления — это всё еще далеко от биологической сложности будет (как минимум PLD не может себя воспроизвести (аутопэз), и интегрировать в себя же). С биокомпьютерами наверно будет прорыв (но это всё еще не то, если оно тоже не будет уметь в автопоэз).
А на опыте без данных учатся уже, правда пока на ограниченных задачах