Судебные обязанности Ферма поглощали значительную часть его времени, а те скудные часы досуга, которые все же оставались, Ферма целиком посвящал математике. Отчасти это объяснялось тем, что во Франции XVII века не поощрялись светские связи судей.

Считалось, что друзья и светские знакомые судей сами могут оказаться под судом, и тогда личные связи могут помешать осуществлению правосудия. Изолированный от остальной части высшего общества Тулузы, Ферма мог сосредоточиться на своем любимом занятии.

Фронтиспис перевода «Арифметики» Диофанта выполненного Клодом Гаспаром Баше и опубликованного в 1621 году. Эта книга во многом вдохновила Ферма на его исследования

Не сохранилось никаких документальных свидетельств того, что у Ферма был учитель математики, который поощрял своего способного ученика. Наставником и учителем Ферма стала «Арифметика» Диофанта. В «Арифметике» теория чисел, как было принято во времена Диофанта, излагалась в виде ряда задач и их решений. В действительности Диофант развернул перед Ферма картину целого тысячелетия, заслуживающего осмысления со стороны математика. В одной «Арифметике» Ферма мог найти все, что было известно о числах благодаря трудам последователей Пифагора и Евклида. Теория чисел замерла после варварского сожжения Александрии, но Ферма преисполнился решимости возродить изучение самой фундаментальной из всех математических дисциплин.

Книга, вдохновившая Ферма, была латинским переводом «Арифметики», выполненным Клодом Гаспаром Баше де Мезириаком, считавшимся самым ученым человеком во всей Франции. Блестящий лингвист, поэт и знаток классических языков и литературы, Баше питал любовь к математическим задачам-головоломкам. Его первой публикацией был сборник занимательных задач под названием «Problemes plaisans et delectables qui se font par les nombres» . В сборнике были задачи о переправах через реку, переливании жидкостей и несколько фокусов с отгадыванием задуманного числа. Одна из задач ставила вопрос о подборе гирь: «Каков наименьший набор гирь, который позволит взвесить любой груз весом от 1 до 40 кг?»

Баше нашел остроумное решение задачи, показывающее, что удовлетворить ее требованиям можно, располагая набором всего лишь из четырех гирь. Решение Баше приводится в Приложении 4.

Хотя Баше был в математике всего лишь дилетантом, его интерес к задачам-головоломкам был настолько велик, что позволил ему осознать: задачи, приведенные в «Арифметике» Диофанта, — не просто головоломки и требуют более глубокого изучения. Баше поставил перед собой задачу перевести труд Диофанта и опубликовать его с тем, чтобы вдохнуть в методы греческих математиков новую жизнь. Следует иметь в виду, что подавляющее большинство достижений древних математиков было полностью забыто. Высшую математику не изучали даже в самых крупных европейских университетах, и только благодаря таким ученым, как Баше, она стала быстро возрождаться. Публикация в 1621 году выполненного Баше латинского перевода «Арифметики» Диофанта была его вкладом в начало второго золотого века в истории математики.

В «Арифметике» собраны сотни задач, и каждую из них Диофант снабдил подробным решением. Ферма не перенял столь высокий уровень доступности. Его совсем не интересовало создание учебника для будущих поколений. Он жаждал лишь одного — получить удовлетворение от решенной им задачи. Изучая задачи и решения Диофанта, Ферма черпал в них вдохновение и стал помышлять о том, чтобы самому заняться решением аналогичных и более тонких задач. Ферма записывал для себя лишь самое необходимое для того, чтобы убедиться в правильности полученного решения, и не заботился о том, чтобы изложить остальную часть доказательства. Чаще всего сделанные им торопливые записи отправлялись прямиком в мусорную корзину, после чего Ферма спокойно переходил к следующей задаче. К счастью для нас, опубликованный Баше латинский перевод «Арифметики» имел широкие поля, и иногда Ферма торопливо записывал на них ход своих рассуждений и свои комментарии. Эти заметки на полях стали бесценными, хотя и несколько отрывочными, документальными свидетельствами некоторых наиболее блестящих выкладок Ферма.