Pak Grossman ingin membuat kelompok baru yang akan memperluas dan memperbarui model Weavers, kelompok harmoni rakyat yang terdiri dari satu perempuan dan tiga laki-laki (salah satunya adalah Pete Seeger) yang telah mencapai kesuksesan di tahun 1950-an. Dia memasangkan Tuan Yarrow dengan Nona Travers, yang pernah tampil di country club dan bekerja dengan Tuan Seager dalam beberapa kesempatan. Atas saran Nona Travers, mereka menambahkan Noel Paul Stookey, yang pernah tampil bersamanya di klub lokal, dan keduanya menjadi trio. Dengan menggunakan nama tengah Tuan Stookee, mereka memilih nama panggilan yang menarik dan alkitabiah.
Ketiganya menampilkan gambaran visual yang mencolok: dua pria berdasi gelap, berjanggut beatnik dan ekspresi tegas, mengapit Ms. Travers, yang memiliki rambut pirang menonjolkan tulang pipi yang mulia. Tuan Grossman membuat keributan dengan mengatur agar mereka lari di Bitter End di Bleecker Street. Pada tahun 1961, band ini menandatangani kontrak dengan Warner Bros. Records dan merilis album debut mereka, yang diberi judul “Peter, Paul & Mary,” pada bulan Mei tahun berikutnya.
Tuan Yarrow menyanyikan vokal utama pada single pertama grup, “Lemon Tree,” sebuah adaptasi dari lagu rakyat Brasil yang mencapai Top 40 di tangga lagu Billboard. Hammer, sebuah lagu yang ditulis oleh Pete Seeger dan Lee Hays dari Weavers, menjadi hit Sepuluh Besar dan memenangkan dua Grammy Awards. Album ini tetap berada di 20 besar selama dua tahun berturut-turut dan terjual lebih dari 2 juta kopi.
Album lanjutan grup tersebut, “Movin',” dirilis pada awal tahun 1963, menampilkan “Puff the Magic Dragon,” berdasarkan lagu yang ditulis teman Mr. Yarrow, Lenny Lipton ketika dia berusia 19 tahun. Puisi ini diadaptasi dari puisi sebelumnya oleh Ogden Nash yang berjudul “Kisah Naga Custard”. Belakangan ada spekulasi bahwa lagu tersebut merujuk pada penggunaan ganja, namun Yarrow dengan keras membantah penjelasan tersebut.
