Спасибо за подсказки, уже разобрался.
> Попробуйте отключить функцию Edit/Color settings/Use Black
> Point Compensation (снять галочку).
Эта функция не помогает.
Решилось следующим образом: 100% черного цвета Фотошоп считает как 85% плотности черного, который можно вопроизвести, поэтому когда ставишь смесевый черный все получается, он правильно преобразуется.
Кстати, а когда стохастический растр делаешь в Фотошопе, какое разрешение надо ставить, например для 120 сита. Пробовал разное разрешение получается фигня какая-то. Более 300 dpi ставишь растр сливается начиная от 50% заливки, менее 300 dpi – ровный растр но сильно грубая точка, смотрится не приятно.