OpenCVの画像形式cv::Matはいろんな格納方式ができて，二値画像ももちろんいけるんですが，画素値を個別にアクセスするときのやり方でうっかりしたミスでハマってしまいました．

ということで自虐を兼ねてメモ．（逆では

//画像を読み込む
cv::Mat img = cv::imread("fugafuga.png", CV_LOAD_IMAGE_GRAYSCALE);

//大津の方法で二値化．こうすると二値画像のフォーマットでMatに格納してくれます
//srcとdstが一緒ですが一応問題ないです
cv::threshold(img, img, 0, 255, CV_THRESH_BINARY | CV_THRESH_OTSU);

//全画素をPGMフォーマットで出してみる
std::cout << "P1" << std::endl;
std::cout << img.cols << " " << img.rows << std::endl;
for(int y = 0; y < img.rows; y++)
{
    for(int x = 0; x < img.cols; x++)
    {
        //std::cout << img.at<int>(y, x) << " ";    //まちがい！！
        std::cout << static_cast<int>(img.at<unsigned char>(y, x)) << " ";
    }
    std::cout << std::endl;
}

at<int>()はカラー画像のBGRAをごそっと取り出すとき用だったりするので，二値画像の画素値を出すときはat<unsigned char>()を使いましょうというお話でした．static_castはべつにせんでもええです．
ちなみにat<int>()でやると事実上のゴミが出てきます．
何をいまさらこんなところでつまづいてるのか小一時間問い詰めたい．