Las primeras referencias a matemáticas avanzadas y organizadas datan del tercer milenio a.C., en Babilonia y Egipto. Estas matemáticas estaban dominadas por la aritmética, con cierto interés en medidas y cálculos geométricos y sin mención de conceptos matemáticos como los axiomas o las demostraciones.
Los primeros libros egipcios, escritos hacia el año 1800 a.C., muestran un sistema de numeración decimal con distintos símbolos para las sucesivas potencias de 10 (1, 10, 100...), similar al sistema utilizado por los romanos. Los números se representaban escribiendo el símbolo del 1 tantas veces como unidades tenía el número dado, el símbolo del 10 tantas veces como decenas había en el número, y así sucesivamente. Para sumar números, se sumaban por separado las unidades, las decenas, las centenas... de cada número. La multiplicación estaba basada en duplicaciones sucesivas y la división era el proceso inverso.
Los egipcios utilizaban sumas de fracciones unidad (Œ), junto con la fracción ’, para expresar todas las fracciones. Por ejemplo, " era la suma de las fracciones ‚ y ~. Utilizando este sistema, los egipcios fueron capaces de resolver problemas aritméticos con fracciones, así como problemas algebraicos elementales. En geometría encontraron las reglas correctas para calcular el área de triángulos, rectángulos y trapecios, y el volumen de figuras como ortoedros, cilindros y, por supuesto, pirámides. Para calcular el área de un círculo, los egipcios utilizaban un cuadrado de lado U del diámetro del círculo, valor muy cercano al que se obtiene utilizando la constante pi (3,14).
El sistema babilónico de numeración era bastante diferente del egipcio. En el babilónico se utilizaban tablillas con varias muescas o marcas en forma de cuña (cuneiforme); una cuña sencilla representaba al 1 y una marca en forma de flecha representaba al 10 (véase tabla adjunta). Los números menores que 59 estaban formados por estos símbolos utilizando un proceso aditivo, como en las matemáticas egipcias. El número 60, sin embargo, se representaba con el mismo símbolo que el 1, y a partir de ahí, el valor de un símbolo venía dado por su posición en el número completo. Por ejemplo, un número compuesto por el símbolo del 2, seguido por el del 27 y terminado con el del 10, representaba 2 × 602 + 27 × 60 + 10. Este mismo principio fue ampliado a la representación de fracciones, de manera que el ejemplo anterior podía también representar 2 × 60 + 27 + 10 × (†), o 2 + 27 × (†) + 10 × (†)-2. Este sistema, denominado sexagesimal (base 60), resultaba tan útil como el sistema decimal (base 10).
Con el tiempo, los babilonios desarrollaron unas matemáticas más sofisticadas que les permitieron encontrar las raíces positivas de cualquier ecuación de segundo grado. Fueron incluso capaces de encontrar las raíces de algunas ecuaciones de tercer grado, y resolvieron problemas más complicados utilizando el teorema de Pitágoras. Los babilonios compilaron una gran cantidad de tablas, incluyendo tablas de multiplicar y de dividir, tablas de cuadrados y tablas de interés compuesto. Además, calcularon no sólo la suma de progresiones aritméticas y de algunas geométricas, sino también de sucesiones de cuadrados. También obtuvieron una buena aproximación de Ã.