У вас задан асинхронный режим передачи, но не определена и не передана в CreateFile структура OVERLAPPED и указатель на нее TOVERLAPPED. Если нужно, могу поделиться мануалом для работы с COM-портами на Builder. Там все то же самое, чуть другой синтаксис