Официальное постановление Совета Министров о проектировании реактивного пассажирского самолёта в КБ Туполева вышло 11 июня 1954 года, хотя работы велись и раньше. Ещё при создании бомбардировщика Ту-16 были созданы и первые наброски будущего реактивного пассажирского лайнера. К 1952-53 годам были подготовлены и чертежи. Проект получил рабочее название Ту-2АМ-3-200. Будущий лайнер получил индекс 104. К слову, все дальнейшие серийные пассажирские самолёты ОКБ Туполева получали трёхзначные индексы с четвёркой на конце. Ту-104 проектировался на основе ранее производимого дальнего бомбардировщика Ту-16. Использовались его крылья, хвостовое оперение, гондолы двигателей и шасси. Для Ту-104 был увеличен диаметр фюзеляжа и крыло было перемещено вниз фюзеляжа. Сохранён и двигатель Ту-16 — АМ-3. Именно поэтому разработка самолёта подобного типа заняла столь короткий срок.

Первый полёт Ту-104 совершил 17 июня 1955 года под управлением лётчика-испытателя Ю. Т. Алашеева. 5 ноября в воздух поднялся первый серийный самолёт, построенный на Харьковском авиазаводе (УССР). В 1956 году Советскому Союзу удалось поразить западный мир[источник не указан 663 дня], когда во время визита первого секретаря ЦК КПСС Никиты Хрущёва в Лондон туда же прилетели три Ту-104 (СССР-Л5400, СССР-Л5412, СССР-Л5413). 15 сентября 1956 года Ту-104 (борт СССР-Л5415) совершил первый регулярный рейс по маршруту Москва — Омск — Иркутск.

Самолёт создан на базе бомбардировщика Ту-16 и во многом повторяет его конструкцию, также близок по составу оборудования.

Заново спроектирован фюзеляж диаметром 3,5 метра, разделённый на кабину экипажа, пассажирскую кабину и негерметичный отсек в хвостовой части после 65-го шпангоута. Кабина экипажа была отделена от пассажирской гермоперегородкой с дверью. Под полом пассажирской кабины расположены багажные помещения.

Компоновка пассажирской кабины весьма различна на разных модификациях. На модификации Ту-104А пассажирская кабина разделена на два салона: впереди салон пассажиров 1-го класса на 16 кресел, за ним салон на 54 кресла туристского класса, в компоновке 11 рядов по 5 кресел (3 слева и 2 справа). Первый ряд кресел второго салона развёрнут против полёта, и между креслами первого и второго ряда установлены небольшие столики.

Иллюминаторы в салоне самолёта круглые, диаметром 40 см. Часть иллюминаторов в служебных помещениях и туалетах расположены со значительным смещением к потолку.

Компоновка кабины экипажа сильно напоминает таковую в Ту-16. Экипаж состоял из командира, второго пилота, штурмана, бортрадиста и бортмеханика.

Для прохода в самолёт на левом борту впереди и сзади имелось по входной двери. Также в кабине экипажа в полу кабины имелся отбрасываемый вниз входной люк, позволяющий попасть в самолёт через нишу передней стойки шасси. Для выхода на крылья при аварийной посадке имелись справа и слева сбрасываемые люки.

В отличие от Ту-16, Ту-104 по компоновке — низкоплан. Крылья стреловидные, цельнометаллические, двухлонжеронные кессонной конструкции. Стреловидность 35° по линии 1/4 хорд, 40,5° по передней кромке и 37,5° по задней. Профиль крыла ПР-12-0-35 в корневой части крыльев и СР-11-12 в концевой. Каркас из алюминиевых сплавов (центроплан из сплава В95). На крыльях установлены элероны с триммерами, в средней и корневой части крыльев имелись закрылки с электроприводом.

Внутренние полости крыльев использовались под размещение мягких резиновых топливных баков: по четыре группы левых и правых баков. Пятый фюзеляжный бак находился в хвостовой части фюзеляжа и только на Ту-104 (без буквы), на остальных модификациях его не было. Заправка топливом пистолетная для каждого бака раздельно, централизованной заправки не было. При наличии пятого бака он заполнялся перекачкой топлива из крыла. Топливо для двигателей Т-1 или ТС, для турбостартеров двигателей отдельно заливался бензин Б-70 с примесью масла.

Двигатели аналогичны применяемым на Ту-16. Форма воздухозаборников двигателей немного отличается от установленной на Ту-16.

Шасси аналогично Ту-16, передняя стойка с парой управляемых колёс, две основные стойки и предохранительная хвостовая пята. Колея шасси 11,325 м. Для сокращения пробега используется двухкупольная парашютная система.

Оборудование самолёта во многом аналогично Ту-16. Автопилот АП-5-2, вариометр ВАР-30-3, высотомер ВД-20, указатель скорости КУС-1200, радиовысотомер РВ-2, астрокомпас АК-49, радиотехническая система ближней навигации РСБН-2, бортовая РЛС РБП-4Г, радиокомпасы АРК-5, гирополукомпас ГПК-52, дистанционный гиромагнитный компас ДГМК-7, курсо-глиссадная система СП-50 «Материк», курсо-глиссадная система ИЛС (курсовой радиоприёмник КРП-Ф, глиссадный радиоприёмник ГРП-2, маркерный радиоприёмник МРП-48 или МРП-56П), связная радиостанция (приёмник УС-9, передатчик 1-РСБ-70). С постройкой самолётов состав оборудования несколько менялся, в частности был заменён автопилот на более совершенный АП-6.