Можно пробовать чисто механически: в емкость с пуговицами поместить кольцевую ленту с перфорацией по размеру пуговиц. По наклонной поверхности лента тянет пуговицы вверх, к конвейеру. Фишка в том, что при прохождении над определенным участком наклонной поверхности снизу резко выдвигается толкатель, на расстояние вогнутости пуговицы. Если вогнутость есть - пуговица беспрепятственно поднимается вверх, иначе летит вниз.
Похожий механизм может сортировать выпуклые пуговицы. Толщина ленты делается меньше толщины пуговицы, и легшие на ленту плоской стороной будут подниматься вверх, а другие осыпаться.