班默原名皮埃尔·艾丽瑟（Pierre-Elise），生于十二世纪图卢兹公国的一户铁匠家庭，现今所在地是法国西南部的波尔多地区。家中共有四个孩子，老大老二都是男孩儿，老三老四是女孩儿，艾丽瑟最小，并且先天口吃。
她的两个哥哥自打她记事以来，就帮助父亲做铁匠活，而三姐受到父母和大哥二哥的照顾很多，所以从小娇生惯养。而她这个口吃妹妹的存在在他们看来有些多余，除了母亲还会关心一下她，家里其他的人都总是用嫌弃的眼光看她。
艾丽瑟从小就喜欢晚上独自一人在自家的屋顶上仰望星空，口吃的嘴里还总是念念叨叨地不知嘀咕着什么。哥哥姐姐们把她当做怪物，时不时欺负欺负这个比较异类的小妹妹，父亲也经常呵斥她帮不上家里什么忙。而只有母亲偶尔会贴心地和她谈谈心里话，温柔地给她讲有关天上星辰的民间故事，还给她买了一些神话传说的书籍，这让孩童时代的艾丽瑟在想象力的土壤中种下了小小的种子。
在艾丽瑟十二岁那年，家里连续突生变故。首先母亲得了瘟疫不幸去世，不久大哥在一次盗匪打劫过程中被弩箭射穿喉咙而亡，父亲在连续遭受亡妻丧子的打击后，半身瘫痪，无法再打铁养家，家庭的全部重担就落在了二哥的身上。
当时艾丽瑟的三姐虽然只有十五岁，但凭借着俏丽的容颜和身姿，已与本地的一家达官显贵的公子有染。在二哥打铁养家之外，三姐也能从姘头那里得到资助，供给家里开销。所以家里只有艾丽瑟没法做出任何贡献，这样更不受其他家庭成员的待见了。尤其已与二哥订婚的未婚妻，非常反感家里有这么个小姑子，时常在二哥耳边吹耳边风，要把小小年纪的艾丽瑟赶出家门，否则她就不嫁进皮埃尔家的门。
最后，在父亲的默许之下，艾丽瑟的二哥、三姐下定决心，将艾丽瑟送到图卢兹的女修院，给了修道院院长一笔钱，让她把艾丽瑟作为最底层的修女对待即可，未来生老病死，任由天命。
那时的艾丽瑟心中也明白，自己狠心的哥哥和姐姐这么做，一定是父亲默许的，于是她决心以后再和这个冷血的家庭老死不相往来，自己活出属于自己的人生。
自打十三岁起，年幼的艾丽瑟便开始学会照顾自己。在女修院中除了被院长和修女头头呼来喝去地干杂活外，没事就去女修院中的藏书官里读书。藏书馆的看门人是个六十多岁的老男人，名叫伊凡，知道艾丽瑟可怜的身世，对她十分照顾，对她借阅藏书的要求也是尽量满足，而且还特意为她推荐不少对她这个年纪十分有用的书籍，比如希腊神话、历史故事、地理知识、数学、文学艺术等等。两人因此结下了深厚的友谊，可以称得上是忘年之交。
艾丽瑟在女修院中度过了五年时光，虽然没有上学的机会，但在老伊凡的帮助之下，头脑中储备的知识一点都不比那些上学的孩子少。
当然，她的女修课一样不会少，因为口吃严重，所以唱诗总是跟不上其他修女的节奏，这让院长总对她发脾气，动不动就饿上她一顿以示惩罚。艾丽瑟倒也不记恨院长，明白是自己出的问题。但口吃是先天的，自己无法纠正，她倒是想了个办法，自己光张嘴不出声，让其他人的声音盖住她，就不会拖后腿了。这在中国就叫做滥竽充数。
这个办法用了一段时间，效果不错，院长也发现了艾丽瑟的小伎俩，不过明白艾丽瑟是天生如此，也就睁一眼闭一眼了。
但“滥竽充数”总归有露馅的一天。那是在艾丽瑟将近二十岁前夕，图卢兹当地的一位社会名流肖恩爵士（Shawn-Sir），为他的公子举行结婚典礼，修女院唱诗班应约在婚礼上颂唱圣经。谁会想到肖恩爵士是个偏执狂，现在的说法叫做强迫症患者，而且听力极好。唱诗班一开口他便听出来艾丽瑟是在假唱，顿时心生疑窦，冲过去一把将艾丽瑟揪了出来，让她单独唱几句。自然是露了马脚。肖恩爵士勃然大怒，叫来几名随从，对艾丽瑟就是一顿毒打，也不管这里是不是教堂圣地了。
在场所有人都呆在原地，没有人上来劝阻。直到几个随从打完，艾丽瑟趴在地上已然站不起来。但嘴里仍然口吃地喃喃自语着，肖恩爵士听得清楚，她似乎在说：“我……我唱……唱了三个音阶，你……你会……你会在三年……三年后听不到……”