Một vấn đề khác có liên quan là nguồn gốc hình họa của bộ bài Tổ Tôm. Vấn đề được đặt ra: tất cả những hình họa trên con bài Tổ Tôm đều là “đặc trưng Nhật Bản rõ rệt, nhất là tất cả các nhân vật đều mặc kimono (tước vật) thời Edo (Giang Hộ), trong số này có 18 đàn ông (có 8 người bó chân), 4 hình phụ nữ và 4 hình trẻ em.
Các hình cá chép (koi, lý), trái đào (mono), thành (shiro), thuyền (fune) cũng là những hình ảnh Nhật” (5). Thế nhưng loại bài Tổ Tôm này “chỉ có người Việt chơi, người Nhật không chơi, người Hoa cũng không chơi (trừ một số ít Hoa kiều ở VN)” (6). Ý kiến trên có 2 câu hỏi: 1/ Nguồn gốc bộ bài Tổ Tôm và 2/ Nguồn gốc và hình họa của bộ bài này?
Như đã trình bày, bài Tổ Tôm có gốc từ loại bài biến thể của Diệp tử mã điếu - xét ở cơ cấu, số lượng, tên gọi... Còn câu hỏi thứ hai, theo các cứ liệu lịch sử, chúng ta có thể giả định là các hình họa đó do một nghệ nhân/họa sĩ người Nhật sống ở Hội An thực hiện và in ấn bán ra thị trường Đàng Trong, dựa trên qui phạm của loại bài Mặc Hòa (hay Đấu hổ) vốn đã phổ biến trước đó. Giả thiết này được hỗ trợ bởi cứ liệu ngữ âm phương ngữ xứ Quảng: âm “am” được đọc thành “ôm”.
Loại bài biến thể từ Diệp tử mã điếu vốn được gọi là Tụ Tam (hiểu theo nghĩa là luật chơi dựa vào sự tích hợp 3 con bài theo hàng ngang hay hàng dọc) được dân xứ Quảng gọi theo ngữ âm đặc trưng của mình thành “Tổ Tôm”. Chỉ có người Quảng mới có thể đọc “tam” thành “tôm”. Nói cách khác, bài Tổ Tôm phải chăng xuất hiện đầu tiên ở Quảng Nam, cụ thể là Hội An, theo “maquette” của nhà tạo mẫu người Nhật ở phố Nhật Bản Hội An thực hiện.