Ну вот считайте - берем тыщу атмег88 ( ) по баксу.
это, например, 16 плат по 64 штуки.
Заводим их синхронно (это не очень просто, но решаемо).
Общая производительность - 20 GIPS (восьмибитных)
Плюс - абсолютная детерминированность во времени
(вплоть до синхронного обмена просто через порты)...
Минусы - ОЗУ неприлично мало (Мегабайт всего),
Связность сети определится разводкой - особо не пошикуешь.
Можно взять тысячу, скажем, LPC1111 (тоже по баксу)
Общая производительность - 60 GIPS (уже 32-хбитных)
Минусы нет детерминированности, те же шины, та же память.
С другой стороны за те же деньги можно купить нормальный комп с интел-квад
и он будет и круче, и гибче, и ширше и т.п.
А вообще, я плохо представляю задачи под массивный параллелизм (применительно к ИИ).
Мне кажется, что на самом деле все проще... вот только КАК ИМЕННО - никто пока не догадался...