пока писал понял как перевернуть =) и ещё наткнулся на грабли - highgui и opengl могут выводить изображения только в разные окна, т.е. создаешь окно opengl, но тогда будь добр перевести iplimage в формат текстуры и вывести на сцене, или создаешь highgui окно, но тогда нужно перевести проекцию сцены в iplimage.
а перевод делается просто: как оказалось, библиотека захвата (DSVL) хранит изображение в формате bgra, тогда можно просто или вручную поменять строки, или создать хидер для iplimage и прикастовать (ARUint8 *) в iplimage.imagedata, после чего банально вызвать cvflip для получившейся структуры.
Код:
IplImage *bgra;
...
bgra = cvCreateImageHeader(cvSize(xsize, ysize), IPL_DEPTH_8U, 4);
...
dataPtr = (ARUint8 *)arVideoGetImage() // получение изображения
bgra->imageData = (char *) dataPtr;
cvFlip(bgra);