Med sine fem etager og røde teglsten ligner Blå Pakhus til forveksling Vestindisk Pakhus. Og arkitekten var da også den selv samme. Ligesom sin tvilling har Blå Pakhus hejseværk midt i bygningens langside.
Det i virkeligheden meget lidt blå pakhus har sit navn fra sine oprindeligt mørkeblå vinduesskodder og blå tagtegl.
Blå Pakhus blev opført til Østersøisk-Guineisk Selskab, som havde særrettigheder på handelen på Guinea i Vestafrika og handelen med slavegjorte mennesker til Vestindien. Fra skibenes lastrum flød en lind strøm af tobak, sukker og bomuld ind i pakhuset.
Samtidig var selskabet forpligtet af Staten til også at handle i Østersøen for at sikre kornforsyningen til København. Hver vinter, indtil havet var isfrit, havde Østersøisk-Guineisk Selskab nemlig kongelig pligt til at ligge inde med mindst 30.000 tønder korn. Og fra 1796 blev Blå Pakhus først og fremmest brugt som korntørringsmagasin.