「カステラ」はポルトガル語で、本来はお城の名前。
この菓子は何という菓子かと日本人が聞いたとき、相手の外国人が、カステラの乗っているお皿の絵のことだと思って、城の名前を答えてしまったことが名の由来だと言われる。