1946 yılında dünyaya gelen Raffi Portakal, ailenin 4. kuşak mesleği olan antikacılığı sürdürmektedir. Türkiye’ye picasso’nun ilk tablolarını getirin isimdir.
Dedesi Yervant Portakal, 1883 senesinde İstanbul’da doğmuş, 1914 yılında sanat eserlerin toplamaya başlamış ve müzayedeler düzenlemiş Ermeni asıllı iş adamıdır. O dönemde Osmanlı asilzadelerinin saraylarında ve evlerinde otuzdan fazla müzayede düzenlemiştir.
Babası Aret Bey, ise dedesinden bu mesleği almış ve devam ettirmiştir. 1914 yılında kurulmuş olan Portakal Sanat ve Kültür Evi günümüzde Raffi Portakal tarafından yönetilmektedir. Kökenleri Osmanlı Devletinin son dönem bürokratlarından olan Mikail Paşa’ya uzanmaktadır.
Annesi Mannik Hanım ise Karadeniz’in Ordu ilindendir. Ermeniler Ordu’dan tehcir edildiğinde, Raffi’nin anne tarafından olan dedesi Evrensel Boghos ağanın iki çocuğu varmış. Bu dönemde Ermenilerin katledildiği haberlerini alınca çocuklarından birisini Türk, birisini ise Yunan bir aileye bırakarak kaçmıştır.
1974 senesinde Zuhal hanım ile evlenen Raffi Portakal’ın bu evliliğinden Maya isminde bir kızı vardır. Yaşantısını New York’ta sürdüren resim sanatı uzmanı Arden Portakal ise Raffi Portakal’ın kardeşidir.
7 Eylül 1955 tarihinde gece saat 10 sularında Yeşilköy’te sesler duyulduğunu, babasının onları alarak bir Türk arkadaşının evine sığındığını aktaran Raffi Portakal, babasının Beyoğlundaki dükkanınında tahrip edildiğini ve büyük göçler olduğunu aktarmıştır. Daha sonra babasının Brezilya’da akrabaları olduğunu oraya gittiklerini ancak 7 ay sonra tekrar Türkiye’ye döndüklerini aktaran Raffi Portakal döndükten sonra neredeyse her şeye sıfırdan başlamak zorunda kaldıklarını belirtmiştir.