上小瀬城は、江畔寺の北側に展開している山稜上にある。江畔寺の東下から北上する路を進むと、山中にあるＴＶアンテナ塔に上るための道がついている。ここから上れば城址まですぐである。ここに来るまでにもいくつか郭らしいものがあるが、大分改変されているようで旧状はつかみにくい。アンテナ塔のすぐ背後が８の郭で20ｍ×30ｍほどある。その先には深さ２ｍほどの堀切があるが、この堀切は８の郭側（城外側）が高くなっているのが特徴と言える。
そこを進むと７の郭であるが、基本的に尾根のような細長い地形である。地勢も段々高くなっている。６の郭までには途中、堀切らしい痕跡と、竪堀と土橋らしい痕跡が１ヶ所ずつある。そして、６の郭との間にはやはり深さ２ｍほどの堀切がある。この堀切の両端は竪堀である。また、６の郭側と７の郭側との両方に土塁が盛られている。両脇に土塁が盛られているのは佐竹氏関連の城郭の特徴の1つであるかもしれない。６の郭は15ｍ×40ｍほど。その先の（あ）の郭との間には幅２ｍほどの浅い堀切があるが、（あ）の郭側が５ｍほど高くなっているので、この城で最も規模の大きな堀切のように見える。やはり両端は竪堀である。また（あ）の郭の西側下には腰曲輪がある。
この郭の先には２段の腰曲輪を隔てて５の郭がある。三角形で長軸２５ｍほどの広さの郭である。東側下には腰曲輪が置かれている。この先が３mほど高く１郭になっている。ここが城内最高所である。１郭は20ｍ×35ｍほどの南北に細長い郭で、南西端に方２ｍほどの窪みがある。途城路は東側の側面の城塁沿いを通る坂虎口になっていたようであるが、わりと単純な構造である。
１郭の北側には３m下に腰曲輪、さらに５m下にもう１段の腰曲輪があり、その２ｍほど下に２の郭がある。20ｍ×40ｍ程の郭で、東側は上の腰曲輪から続く削り残しの土塁となっている。この土塁は、高さ２mほどを残して削っているので、かなり立派に見える。
２の郭の北側には土塁があり、その先に深さ２ｍほどの堀切がある。それを越えると３の郭である。しかし、ここまでで主要部は終わりであると思われる。３の郭はかなり削平が甘く、東側がうず高くなっているのである。
この３の郭の３mほど下に４の郭がある。長軸６０ｍほどと、山上では最も広い郭となっている。ただし、自然地形なりの部分も多い郭である。この４の郭の北側先端には、尾根との間を断ち切るように深さ３ｍほどの堀切を入れ、土塁も積んでいる。また西側には２段の腰曲輪を置き、切岸を造りだしている。ここまでが一応、城域の終点と見てよいだろう。しかし、この尾根は北側に長く延びており、その先は確認していないが、そこにも何かあるのかもしれない。
このように上小瀬城は、かなり南北に長い、連郭式の城郭である。構造は比較的単純であるが、堀切や切岸、土塁、竪堀などを随所に配置して防御性を生み出している。１つ１つの郭はそれほど大きくはないが、かなりの数の郭があるので、それなりに大勢力が駐屯することのできる城であったのであろうと思う。
なお、この城の尾根のずっと南側の先端下に江畔寺があるが、この寺院やその脇の尾根にも郭らしきものが見受けられる。というよりもこの寺院そのものが城郭であったといってもよいような雰囲気がある。この部分は出城の一種であったのかもしれない。
また、この城の東側下の平地は、蛇行する緒川に囲まれた高台にあり、要害の地形である。いかにも城下集落を配置するのにふさわしい場所であり、この位置に城下が実際に営まれていた時期があったかもしれない。
上小瀬城のすぐ南側の、緒川村総合センターのある台地には下小瀬城があった。この２つの城郭の関連性をどう考えたらよいのであろうか。今回、上小瀬城の麓のお年寄り数人に城のことを伺ったのだが、彼らは「城というのは今は総合センターになっている。ここには城はないよ」と言っていた。つまり、総合センターにあった下小瀬城の方が、城として認知されているということなのだろうか。実際、「重要遺跡報告書」で小瀬城とあるのは、センターにかつて存在していた城のことである。三連郭の城郭であったらしい。しかし、以前にこのセンターにいた人に伺った話では「センターにあった城の方が出城であった」という内容であった。江畔寺の下には「江畔寺と小瀬城跡」という目立つ看板が立っていて、これを見ると江畔寺のすぐ上辺りが城址なのかと思ってしまう。
下小瀬城が消滅してしまった今、いずれが本城であったのか遺構の比較から検証することはできないが、この上小瀬城が、そこそこの規模を持つ城であるということには変わりはない。
