První písemná zmínka o obci pochází z roku 1354. Vznik obce a blízkého okolí je historicky kladen do druhé poloviny 13. století, období vlády Přemysla Otakara II., kdy vrcholila kolonizace našeho kraje. Název Rybná potvrzuje, že zde bylo v dávné minulosti mnoho rybníků.

Kolonizátory v našem okolí byl panský rod Drslaviců z Plzeňska, kteří tu vystavěli hrady Potštejn a Litice, ke kterému Německá Rybná trvale patřila. O Drslavicích je v dostupné literatuře velice málo údajů. V roce 1304 král Václav II. vyměnil s Drslavici zboží litické za Bor na Písecku. Mimo jiných majitelů se stává držitelem Litic roku 1353 Jan z Lichtenburka.

Na doporučení krále Vladislava Jagellonského koupil litické panství Vilém z Pernštejna. Historikové tvrdí, že v té době se zdejší kraj těšil míru a pokoji. Roku 1563 získal panství Mikuláš Bubna z Litic. Tento rod držel litické panství téměř 250 let. Bubnové postavili zámek v Žamberku a později tam byla přemístěna správa panství.

Dá se říci, že v 17. a 18. století, v době tak těžké pro český národ, na tomto panství nebyly podmínky tak kruté, jak tomu bylo například v blízké Rokytnici, Opočně a mnohde jinde. Bubnové prodali panství roku 1809 knížeti Windischgrätzovi a od něho v roce 1815 koupil žamberecké panství Jan Parish.

Kostel sv. Jakuba Většího
Ve 14. stol. stál v Rybné dřevěný kostel, který byl zničen za husitských válek. Dne 19. června 1748 byl položen základní kámen k novému chrámu sv. Jakuba.

Obrazárna
Byla zbudována v r. 1938 ze sbírkového fondu darovaného místním farářem a děkanem Janem Selicharem. Sbírka představuje díla známých akad. malířů z počátku 20. století. Nejvíce je tu zastoupen místní rodák akad. malíř Oldřich Hlavsa. Na jeho počest byla dne 27. 6. 1986 stávající obrazárna rozšířena o „Hlavsovu síň“. Svými díly se zde představují: Antonín Slavíček, Jan Slavíček, Vincenc Beneš, Bořivoj Žufan, Bedřich Piskač, Václav Špála, Vojtěch Sedláček, prof. J. Ságner, Herbert Masaryk a další.