Avec le besoin croissant en bande-passante, les technologies dites de radio-cognitive sont de plus en plus étudiées par la communauté scientifique. L'enjeu est d'utiliser au mieux le spectre disponible. L'une de ces technologies, Transform Domain Communication System (TDCS), dont les performances en termes d'efficacité énergétique et spectrale étaient jusqu'à présent méconnues, constitue le sujet d'étude de cette thèse. Après une présentation du contexte scientifique et industriel de la thèse, le système TDCS est introduit, ainsi que ses similarités et différences avec OFDM et MC-CDMA. Le système est ensuite décrit sous le formalisme algébrique des modulations linaires. Cela a permis d'établir une expression de l'efficacité spectrale du système. Plusieurs techniques sont alors proposées pour améliorer celle-ci tout en améliorant, dans certains cas, le taux d'erreur binaire. Étant intrinsèquement un système multiporteuse, TDCS souffre d'un fort Peak-to-Average Power Ratio (PAPR). La théorie ensembliste est alors présentée puis mise à profit en troisième partie de cette thèse pour proposer les algorithmes Douglas-Rachford et ROCS de réduction du PAPR des signaux TDCS. Ces algorithmes convergent plus rapidement et vers des valeurs plus basses que l'algorithme POCS  précédemment utilisé dans la literature.